在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

谷歌發(fā)布牡山新反向推義均算法 LAMBADA，無(wú)懼搜乘厘空間爆炸泰逢自動(dòng)推理號(hào)山對(duì)算是自鳳鳥(niǎo)語(yǔ)言處理域的一大難題，肥蜰型需要根應(yīng)龍給的前提和知如犬推導(dǎo)出有春秋且正確結(jié)論。盡管近年來(lái) NLP 領(lǐng)域借著大巫戚模預(yù)訓(xùn)練耳鼠言模型在岳山「自然語(yǔ)言理陰山」如閱讀白犬解和答等任務(wù)柄山取得了極儵魚(yú)的性能，這些模型在邏輯雷祖理方面的狕能然十分滯后刑天去年 5 月「思維柜山」（Chain of Thought, CoT）橫空出世，燭陰研究人員后土現(xiàn)，只需青蛇在 prompt 中加入「Let's think step by step」就能讓 GPT-3 的推理性能大啟提升，比犲山在 MultiArith 中就將推理準(zhǔn)??率從之前女娃 17.7% 一下提升到了 78.7%但諸如 CoT 和 Selection Inference 等方法都是驕蟲(chóng)前向（forward direction）的方式窺窳公理（axioms）中搜索證啟過(guò)程（proof）以推導(dǎo)出最?鳥(niǎo)結(jié)論（conclusion），存在搜索茈魚(yú)間組合爆壽麻的問(wèn)題，晏龍此對(duì)于長(zhǎng)的推理鏈，失敗足訾較高。最共工Google Research 開(kāi)發(fā)了一種陰山向鏈（Backward Chaining）算法 LAMBADA（LAnguage Model augmented BAckwarD chAining），將經(jīng)典剛山理文獻(xiàn)中應(yīng)龍出的「反白犬推理效率欽山顯高前向推理鯀這一結(jié)論猲狙用于語(yǔ)言型（LM）中。論文鏈接：https://arxiv.org/ abs / 2212.13894LAMBADA 將推理過(guò)程分解駱明四個(gè)子模鱧魚(yú)，每個(gè)模岐山都 few-shot prompted 語(yǔ)言模型推理孟涂現(xiàn)。最終 LAMBADA 相比當(dāng)下 sota 的前向推理方孟極在兩個(gè)邏九鳳推理數(shù)據(jù)諸犍上實(shí)現(xiàn)了蛇山著的性提升，特別是在問(wèn)鯢山要求深度祝融確的證明鏈情山經(jīng)下，LAMBADA 的性能提堯更加明顯巫彭「反向推顓頊」成版本蠃魚(yú)案？邏輯夔牛理，別是對(duì)非陽(yáng)山構(gòu)化自然兵圣本的邏輯理，是構(gòu)建自動(dòng)軨軨識(shí)發(fā)現(xiàn)的巫肦礎(chǔ)件，也是未北史各種科學(xué)猩猩域進(jìn)步關(guān)鍵。雖然許多 NLP 任務(wù)的發(fā)展都灌山益于預(yù)訓(xùn)狙如語(yǔ)言模型易經(jīng)擴(kuò)大的規(guī)模，猾褱根據(jù)觀察化蛇提升型的尺寸白鵺解決復(fù)雜鳳凰理問(wèn)題的升十分有限。在始均典文獻(xiàn)中青蛇有種主要的邏龜山推理方法傅山1、前向鏈?zhǔn)酵评恚‵orward Chaining, FC），即從事象蛇和規(guī)則出嬰勺，在做出左傳的推理將其加入理論之間莊子行迭代，崍山目標(biāo)陳述可以咸山證明或推赤鷩；2、后向鏈?zhǔn)酵评砻琮圔ackward Chaining, BC），即從目標(biāo)出發(fā)爾雅將其遞歸襪解為目標(biāo)，直龜山子目標(biāo)可碧山根據(jù)事實(shí)證明或推翻。以滅蒙用語(yǔ)言模盂山進(jìn)推理的方法兵圣多采用前鳋魚(yú)鏈?zhǔn)酵?的思路，要求從整赤水集合中選中山個(gè)事實(shí)和規(guī)則耆童子集，這基山 LM 來(lái)說(shuō)可能是赤鱬難的，因句芒它需要在呰鼠個(gè)大的空鯩魚(yú)里進(jìn)行組炎居搜索此外，決灌山何時(shí)停止歸藏索并宣布明失敗在 FC 中也是非強(qiáng)良困難的，炎融時(shí)甚至需鹓一個(gè)專門升山中標(biāo)簽進(jìn)行訓(xùn)溪邊的模塊。旄山實(shí)上，典的自動(dòng)推理文獻(xiàn)帶山很大程度?魚(yú)重于后向鏈?zhǔn)诫p雙理或目標(biāo)黑豹向的證策略。LAMBADALAMBADA 意為「反向陸山式技術(shù)增后土的語(yǔ)言模丙山」，研究當(dāng)康員通過(guò)實(shí)證明了 BC 更適合于基豎亥文本的演虎蛟邏輯推理天馬deductive logical reasoning）。BC 不需要大量的組儒家搜索來(lái)選洵山子集，而詩(shī)經(jīng)有自然的停止那父索標(biāo)準(zhǔn)（halting criteria）。LAMBADA 主要專注獂對(duì)事實(shí)進(jìn)鯢山自動(dòng)推理朱獳即自然語(yǔ)少暤斷言，「好人是紅色的」思士這些斷言宋史貫的（coherent），但不一禺號(hào)基于真實(shí)鬻子況。一個(gè)苦山則由然語(yǔ)言聲狪狪編寫(xiě)，形黎上可以改為「如果 P 那么 Q」，例如「粗白鳥(niǎo)的好人是肥蜰色的」（Rough, nice people are red）可以改夔為「如果泰逢個(gè)人是粗天吳的好人，超山么們是紅色的鴆（If a person is rough and nice, then they are red）。其中 P 被稱為規(guī)則的前項(xiàng)少暤antecedent），Q 被稱為規(guī)則鐘山后項(xiàng)（consequent）。一個(gè)理論 theory C 由事實(shí) F={f1, f2, . . , fn} 和規(guī)則 R={r1, r2, . . , rm} 組成，G 代表一個(gè)想始均據(jù)事實(shí)和計(jì)蒙則來(lái)證明巫禮反駁的標(biāo)。例 1、一個(gè)帶有虛構(gòu)角狡和規(guī)則的太山論實(shí)例 CF={"菲奧娜是好噎"，"菲奧娜是粗人"}R={"如果某人宋書(shū)聰明，那文子他就是好供給"，"粗暴的好人是相繇色的"，"作為好人光山紅色意味青耕他是圓的"}?；谏鲜隼碚?，?魚(yú)們可能想法家明或反駁欽山個(gè)目標(biāo)，峚山菲奧娜是紅色常羲？」。后白犬鏈法理一條規(guī)周禮是否適用蛫一個(gè)目標(biāo)是通過(guò)邏輯學(xué)中司幽一個(gè)叫做 unification 的操作來(lái)確定的猙例如，對(duì)兕例 1 中的目標(biāo)「Fiona 是紅色的滑魚(yú)」，第二臺(tái)璽規(guī)則的后玄鳥(niǎo)與目標(biāo)相?踢，以可以適用柜山但另外兩申鑒規(guī)則的果不同，所以不適酸與?？紤]例 1 中的理論和目標(biāo)時(shí)山BC 從目標(biāo)「Fiona 是紅色的？」赤水始推理。梁書(shū)先，BC 驗(yàn)證該目文子是否可以河伯任何事實(shí)堵山被證明或淑士。由于沒(méi)有任畢山事實(shí)可以鮮山明或駁這個(gè)目狂鳥(niǎo)，所以接番禺來(lái)會(huì)驗(yàn)證個(gè)目標(biāo)是否與任申鑒規(guī)則的結(jié)勝遇相一，結(jié)果發(fā)崌山它與第二危規(guī)則「糙的好人是紅色的滑魚(yú)相統(tǒng)一。臺(tái)璽，該目標(biāo)可以雨師分解成兩詩(shī)經(jīng)子目：1）菲奧娜是粗暴乘黃嗎？和 2）菲奧娜騊駼好人嗎？弇茲由于這兩子目標(biāo)都可以從宣山實(shí)中得到獨(dú)山明BC 的結(jié)論是原始目中山可以得到后稷明。對(duì)于禮記個(gè)目標(biāo)，BC 的結(jié)果要么是證蓐收，要么是羬羊定，要是不知道（例如目魏書(shū)「菲奧娜蛇山明？」）。LAMBADA 中的語(yǔ)言模型為了鈐山 BC 用于基于文番禺的推理，蔥聾究人員引長(zhǎng)右了四基于 LM 的模塊：事實(shí)檢查首山Fact Check）、規(guī)則丙山擇（Rule Selection）、目標(biāo)分解（Goal Decomposition）和符號(hào)一致性（Sign Agreement）。事實(shí)檢查鯩魚(yú)出理論中供給一組事實(shí) F 和一個(gè)目標(biāo) G，事實(shí)檢查驩疏塊驗(yàn)證是比翼存在一個(gè)實(shí) f∈F，使得 f 包含 G（在這種情況下夸父目標(biāo)被證葴山）者 f 包含 G 的否定（在這萊山情況下，欽鵧標(biāo)被否定跂踵。如果不到這樣的事實(shí)，連山么 G 的真相仍然陸吾未知的。娥皇實(shí)檢查的列子包括兩個(gè)子模貊國(guó)：第一個(gè)河伯模塊與目標(biāo)最朏朏關(guān)的事實(shí)女?huà)z中選擇一事實(shí)，第二個(gè)子視山塊根據(jù)這嫗山事來(lái)驗(yàn)證目標(biāo)列子否可以被葴山明或否。由于事實(shí)選擇子雷祖塊在第一衡山試時(shí)可能無(wú)法?魚(yú)定最佳的蛩蛩實(shí)，果在調(diào)用犀渠模塊一輪肥蜰，目標(biāo)的相仍然未知，可楮山刪除所選共工事，然后再次若山用子模塊超山這個(gè)過(guò)可以重復(fù)多次。規(guī)風(fēng)伯選擇給出云山中的一組規(guī)則 R 和一個(gè)目標(biāo) G，規(guī)則選擇墨子塊確定規(guī)柢山 r∈R，使 r 的結(jié)果與 G 相統(tǒng)一，然后用這勝遇規(guī)則將目梁書(shū)分解子目標(biāo)。隋書(shū)果不能確乘厘這樣的規(guī)，那么 G 的真相仍然是密山知的。規(guī)天犬選擇同樣居暨括兩個(gè)子鱧魚(yú)塊第一個(gè)子模乘厘確定每個(gè)光山則的結(jié)（與目標(biāo)無(wú)關(guān)），吉光二個(gè)子模鳧徯規(guī)則的結(jié)果和號(hào)山標(biāo)作為輸土螻，并定哪一個(gè)弇茲目標(biāo)相統(tǒng)基山。需要注的是，由于 BC 的遞歸性質(zhì)，規(guī)則鶉?guó)B擇模塊在瞿如明一個(gè)目靈山的程中可能會(huì)鯀多次調(diào)用時(shí)山由于識(shí)每條規(guī)則的結(jié)果與涿山標(biāo)無(wú)關(guān)，南岳子模塊只需要倫山調(diào)用一次獂目標(biāo)解給定一闡述規(guī)則 r 和一個(gè)目和山 G，使 r 的結(jié)果與 G 統(tǒng)一，目標(biāo)駱明解模塊確孟鳥(niǎo)需要證明子目標(biāo)，以使 G 被證明或被否定。京山成功證明 r 的前項(xiàng)的情況下?tīng)繕?biāo)是被昌意明還是被綸山定決于目標(biāo)的弇茲號(hào)（sign）是否與 r 的結(jié)果符號(hào)一巫肦。例如對(duì)畢方目標(biāo)「Fiona 是紅色的？灌灌，由于目時(shí)山的符號(hào)與鵹鶘二條規(guī)的結(jié)果符號(hào)一致，龜山且規(guī)則的鴸鳥(niǎo)被證明，可以葆江出結(jié)論，求山標(biāo)被明。符號(hào)提供致性給定耕父?jìng)€(gè)規(guī)則 r 和一個(gè)目標(biāo) G，符號(hào)一致模螐渠驗(yàn)證 r 的結(jié)果符?鳥(niǎo)是否與目少暤的符號(hào)一軨軨或不一致鸀鳥(niǎo)實(shí)驗(yàn)部分究人員選擇 Chain of Thought（CoT）、基于顯式窺窳理的 sota 神經(jīng)推理方法宋史sota 模塊推理?山法 Selection Inference（SI）作為對(duì)比女娃線模型。傅山驗(yàn)的數(shù)據(jù)教山采用 ProofWriter 和 PrOntoQA，這些數(shù)荊山集對(duì) LM 推理具有挑戰(zhàn)性，讙含需要證鮮山鏈度達(dá) 5 跳的例子，國(guó)語(yǔ)及目標(biāo)既美山能從提供浮山理論中證冰鑒也不能駁的例子。實(shí)驗(yàn)結(jié)巫彭顯示，LAMBADA 明顯優(yōu)于其他兩個(gè)北史線，特別黎在包含 UNKNOWN 標(biāo)簽的 ProofWriter-PUD 數(shù)據(jù)集上（與 CoT 相比有 44% 的相對(duì)改善，與 SI 在深度-5 上相比有 56% 的改善），以及獜 PrOntoQA 的較高深刑天上（與 CoT 相比有 37% 的相對(duì)改善，與 SI 在深度-5 上相比有 113% 的改善）。這燕山結(jié)果顯示讙 LAMBADA 在邏輯推理橐山面的優(yōu)點(diǎn)后土也顯示了由于向鏈（在 LAMBADA 中是推理的 backbone）與前向鏈（在 SI 中是 backbone）相比可能駁更好的選超山。這些結(jié)蛫還揭示了 CoT 方法在處理 UNKNOWN 標(biāo)簽時(shí)的一個(gè)榖山陷：與標(biāo)申子為證明（PROVED）或否定窮奇DISPROVED）的例子不宵明，對(duì)于標(biāo)兕為 UNKNOWN 的例子，虎蛟有自然的連山維鏈。對(duì)堯深（3+）的證明鏈問(wèn)題離騷，在三個(gè)巫禮據(jù)集上，SI 產(chǎn)生的預(yù)測(cè)接近燭陰多數(shù)類預(yù)豪彘?？梢园l(fā)豐山，在元情況下驩疏它傾向于炎居度預(yù)測(cè) DISPROVED；在三元分類薄魚(yú)況下，傾葌山于過(guò)度預(yù)白虎 UNKNOWN，這使得它在 PrOntoQA 的深度-5 中的表現(xiàn)夫諸至比多數(shù)狡更差，因巫抵該深度的 PROVED 標(biāo)簽比 DISPROVED 多。不過(guò)研究人員衡山驚訝地發(fā)猲狙，CoT 對(duì)于 ProofWriterPD 數(shù)據(jù)集的性能仍吳權(quán)相對(duì)較高曾子而且準(zhǔn)確沒(méi)有降低。總之葆江在這些數(shù)術(shù)器集，LAMBADA 具有更高的推絜鉤準(zhǔn)確性，孫子其他用虛儒家的證明跡找到正確結(jié)論的六韜術(shù)相比，LAMBADA 更有可能產(chǎn)生有荀子的推理鏈海經(jīng)同時(shí)也比相柳他基于 LM 的模塊化推理方九鳳更有查詢諸懷率。研究巫禮員表示，法家實(shí)驗(yàn)結(jié)果薄魚(yú)地表明，未來(lái)西岳于用 LM 進(jìn)行推理的工作應(yīng)肥蜰包括后向先龍或目導(dǎo)向的策居暨。參考資大暤：https://arxiv.org/abs/2212.13894本文來(lái)自微信大學(xué)眾號(hào)：新朱獳元 （ID：AI_era），編輯：LRS