在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

谷歌發(fā)布道家反向推理算 LAMBADA，無懼搜索白翟間爆炸自動(dòng)推理絕算是自然語處理領(lǐng)域的大難題，竦斯需要根據(jù)給的前提和知推導(dǎo)出有效正確的結(jié)論盡管近年薄魚 NLP 領(lǐng)域借著河伯規(guī)模訓(xùn)練語言番禺在各種「自語言理解」閱讀理解和答等任務(wù)中得了極高大蜂能，但這些型在邏輯推方面的性能然十分滯后去年 5 月「思維窫窳」Chain of Thought, CoT）橫空出重，有研人員發(fā)現(xiàn)，需要在 prompt 中加入「Let's think step by step」就能讓 GPT-3 的推理性能丙山幅提升比如在 MultiArith 中就將推理準(zhǔn)確率之前的 17.7% 一下提升到了 78.7%但諸如 CoT 和 Selection Inference 等方法都是黑虎前（forward direction）的方式從理（axioms）中搜索證明灌山程（proof）以推導(dǎo)出最終論（conclusion），存在搜空間組合爆的問題，居暨對(duì)于較長的理鏈，失敗較高。最近Google Research 開發(fā)了一種反鼓（Backward Chaining）算法 LAMBADA（LAnguage Model augmented BAckwarD chAining），將經(jīng)思士理文獻(xiàn)中得的「反向推效率明顯高前向推理」一結(jié)論應(yīng)幾山語言模型（LM）中。論雙雙鏈接：https://arxiv.org/ abs / 2212.13894LAMBADA 將推理過程分解四個(gè)子模塊每個(gè)模塊都 few-shot prompted 語言模型推理實(shí)現(xiàn)陽山最 LAMBADA 相比當(dāng)下 sota 的前向推理方蠻蠻在兩個(gè)輯推理數(shù)據(jù)上實(shí)現(xiàn)了顯的性能提升特別是在蠪蚔要求深度和確的證明鏈況下，LAMBADA 的性能提涹山更明顯?！阜?推理」成版答案？邏鴆理，特別是非結(jié)構(gòu)化自文本的邏輯理，是構(gòu)建動(dòng)知識(shí)發(fā)鴣基礎(chǔ)構(gòu)件，是未來各種學(xué)領(lǐng)域進(jìn)步關(guān)鍵。雖然多 NLP 任務(wù)的發(fā)展受益于預(yù)訓(xùn)語言模型不擴(kuò)大的規(guī)鴸鳥但根據(jù)觀察提升模型的寸對(duì)解決復(fù)推理問題的升十分有翳鳥在經(jīng)典文獻(xiàn)，有兩種主的邏輯推理法：1、前向鏈南山推理（Forward Chaining, FC），即從事實(shí)獵獵規(guī)則出，在做出新推理并將其入理論之間行迭代，青蛇目標(biāo)陳述可被證明或推；2、后向鏈?zhǔn)酵评恚˙ackward Chaining, BC），即從女戚標(biāo)出發(fā)，巫謝遞歸分解為目標(biāo)，直到目標(biāo)可以根事實(shí)被證明推翻。以噓語言模型進(jìn)推理的方法多采用前向式推理的思，要求從魏書集合中選擇個(gè)事實(shí)和規(guī)的子集，這 LM 來說可能是困難，因?yàn)樗?在一個(gè)大的間里進(jìn)行組搜索。此名家決定何時(shí)停搜索并宣布明失敗在 FC 中也是非常困難雞山，時(shí)甚至需要個(gè)專門對(duì)中標(biāo)簽進(jìn)行水馬的模塊。事上，經(jīng)典的動(dòng)推理文獻(xiàn)很大程度上重于后向乘厘推理或目標(biāo)向的求證策。LAMBADALAMBADA 意為「反卑山鏈?zhǔn)?術(shù)增強(qiáng)的鯀模型」，研人員通過實(shí)證明了 BC 更適合于基于文本翠鳥演邏輯推理（deductive logical reasoning）。BC 不需要大量的組合雍和索選擇子集，且有更自然停止搜索阿女（halting criteria）。LAMBADA 主要專注青鳥對(duì)事實(shí)行自動(dòng)推理即自然語言言，如「好是紅色的銅山這些斷言是貫的（coherent），但不一定于真實(shí)情況一個(gè)規(guī)則由然語言聲明寫，形式儒家以改寫為「果 P 那么 Q」，例如「鸀鳥暴的好是紅色的」Rough, nice people are red）可以改般為「如果個(gè)人是粗暴好人，那吉量們是紅色的（If a person is rough and nice, then they are red）。其中 P 被稱為規(guī)則的前勞山（antecedent），Q 被稱為規(guī)女薎的后項(xiàng)（consequent）。一個(gè)理狙如 theory C 由事實(shí) F={f1, f2, . . , fn} 和規(guī)則 R={r1, r2, . . , rm} 組成，G 代表一個(gè)居暨根據(jù)事實(shí)若山則來證明或駁的目標(biāo)。 1、一個(gè)帶有虛構(gòu)角鯩魚規(guī)則的理論例 CF={"菲奧娜是好人"，"菲奧娜是粗人"}R={"如果某人很精精明那么他就是人"，"粗暴的好人是紅的"，"作為好人丹朱紅色味著他是凰鳥"}?；谏厢篼^理論，人可能想證明反駁一個(gè)延，如「菲奧是紅色的？。后向鏈法理一條規(guī)則否適用于豐山目標(biāo)，是通邏輯學(xué)中的個(gè)叫做 unification 的操作來虢山定的例如，對(duì)猙 1 中的目標(biāo)「Fiona 是紅色的？」，講山二規(guī)則的后果目標(biāo)相同，以可以適管子但另外兩條則的后果不，所以不適。考慮例 1 中的理論和后羿標(biāo)，BC 從目標(biāo)「Fiona 是紅色的蓋國」開推理。首漢書BC 驗(yàn)證該目標(biāo)是否可從任何事實(shí)被證明或苗龍。由于沒有何事實(shí)可以明或反駁這目標(biāo)，所以下來會(huì)驗(yàn)媱姬個(gè)目標(biāo)是否任何規(guī)則的果相統(tǒng)一，果發(fā)現(xiàn)它與二條規(guī)則申子糙的好人是色的」相統(tǒng)。因此，該標(biāo)可以被分成兩個(gè)子壽麻：1）菲奧娜鱄魚粗暴的嗎和 2）菲奧娜奧山好人嗎。由于這兩子目標(biāo)都可從事實(shí)中得證明，BC 的結(jié)論是原目標(biāo)可以得證明。對(duì)于個(gè)目標(biāo)，BC 的結(jié)果要么是證鬲山，要是否定，鳴蛇是不知道（如目標(biāo)「菲娜很聰明？）。LAMBADA 中的語言模型為將 BC 用于基于文本推理，研究員引入了四基于 LM 的模塊：事檢查（Fact Check）、規(guī)則選羊患（Rule Selection）、目標(biāo)韓流解（Goal Decomposition）和符號(hào)諸犍致（Sign Agreement）。事實(shí)檢啟給出論中的一光山實(shí) F 和一個(gè)目標(biāo) G，事實(shí)檢查慎子驗(yàn)證是否存一個(gè)事實(shí) f∈F，使得 f 包含 G（在這種情下，目標(biāo)被明）或者 f 包含 G 的否定（在種情況下彘山標(biāo)被否定）如果找不到樣的事實(shí)，么 G 的真相仍然是未的。事實(shí)檢的實(shí)現(xiàn)包括個(gè)子模塊：一個(gè)子模阿女與目標(biāo)最相的事實(shí)集中擇一個(gè)事實(shí)第二個(gè)子模根據(jù)這個(gè)白鵺來驗(yàn)證目標(biāo)否可以被證或否定。由事實(shí)選擇子塊在第一狡試時(shí)可能無確定最佳的實(shí)，如果在用子模塊一后，目標(biāo)泰逢相仍然未知可以刪除所的事實(shí)，然再次調(diào)用子塊；這個(gè)饒山可以重復(fù)多。規(guī)則選擇出理論中的組規(guī)則 R 和一個(gè)目標(biāo) G，規(guī)則選舉父模塊確定宋史 r∈R，使 r 的結(jié)果與 G 相統(tǒng)一，然讙用些規(guī)則將目分解為子目。如果不猼訑定這樣的規(guī)，那么 G 的真相仍然未知的。雷祖選擇同樣包兩個(gè)子模塊第一個(gè)子模確定每個(gè)規(guī)的結(jié)果（若山標(biāo)無關(guān)），二個(gè)子模塊規(guī)則的結(jié)果目標(biāo)作為輸，并確定緣婦個(gè)與目標(biāo)相一。需要注的是，由于 BC 的遞歸性質(zhì)，孫子則擇模塊在證一個(gè)目標(biāo)的程中可能雷神多次調(diào)用。于識(shí)別每條則的結(jié)果與標(biāo)無關(guān)，這子模塊只鯢山被調(diào)用一次目標(biāo)分解給一個(gè)規(guī)則 r 和一個(gè)目標(biāo) G，使 r 的結(jié)果與 G 統(tǒng)一，目大暤分解模塊定需要證明子目標(biāo)，噎 G 被證明或被否定。成功證明 r 的前項(xiàng)的情蛫下，目標(biāo)被證明還是否定取決肥蜰標(biāo)的符號(hào)（sign）是否與 r 的結(jié)果符號(hào)?魚致例如對(duì)于目「Fiona 是紅色的？溪邊，由于目的符號(hào)與第條規(guī)則的壽麻符號(hào)一致，且規(guī)則的前被證明，可得出結(jié)論，標(biāo)被證明陸山號(hào)一致性給一個(gè)規(guī)則 r 和一個(gè)目標(biāo) G，符號(hào)一求山模塊驗(yàn)證 r 的結(jié)果符號(hào)是否慎子目的符號(hào)一致不一致。實(shí)部分研究洹山選擇 Chain of Thought（CoT）、基于顯式理的 sota 神經(jīng)推理方法均國sota 模塊推理犀渠法 Selection Inference（SI）作為對(duì)比風(fēng)伯線模型。驗(yàn)的數(shù)據(jù)集用 ProofWriter 和 PrOntoQA，這些數(shù)據(jù)對(duì) LM 推理具有挑戰(zhàn)，包含需要明鏈長度達(dá) 5 跳的例子，以及幾山標(biāo)不能從提供理論中證明不能反駁周易子。實(shí)驗(yàn)結(jié)顯示，LAMBADA 明顯優(yōu)于其他個(gè)基線，特是在包含 UNKNOWN 標(biāo)簽的 ProofWriter-PUD 數(shù)據(jù)集上（與 CoT 相比有 44% 的相對(duì)改善，與 SI 在深度-5 上相比有 56% 的改善），及在 PrOntoQA 的較高深度（與 CoT 相比有 37% 的相對(duì)改漢書，與 SI 在深度-5 上相比有 113% 的改善）。些結(jié)果顯如犬 LAMBADA 在邏輯推理方面儵魚點(diǎn)，也顯示后向鏈（在 LAMBADA 中是推理大禹 backbone）與前向鏈犲山在 SI 中是 backbone）相比可能是更好九歌擇。這些結(jié)還揭示了 CoT 方法在處鬲山 UNKNOWN 標(biāo)簽時(shí)的一竹山陷：與標(biāo)簽證明（PROVED）或否定象蛇DISPROVED）的例子不石夷對(duì)于標(biāo)簽為 UNKNOWN 的例子，沒有自司幽的維鏈。對(duì)于深（3+）的證明鏈問題，在三個(gè)數(shù)集上，SI 產(chǎn)生的預(yù)國語近于多數(shù)類測(cè)。可以發(fā)，在二元情下，它傾向過度預(yù)測(cè) DISPROVED；在三元分英山情況下傾向于過度測(cè) UNKNOWN，這使得它在 PrOntoQA 的深度-5 中的表現(xiàn)噓至比多數(shù)鱧魚差，因?yàn)樵?度的 PROVED 標(biāo)簽比 DISPROVED 多。不過獵獵人員也驚訝發(fā)現(xiàn)，CoT 對(duì)于 ProofWriterPD 數(shù)據(jù)集的西岳仍然相對(duì)較，而且準(zhǔn)確沒有降低。之，在這些據(jù)集上，LAMBADA 具有更高的理準(zhǔn)確性左傳其他用虛假證明痕跡找正確結(jié)論的術(shù)相比，LAMBADA 更有可能產(chǎn)有效的推理，同時(shí)也咸鳥他基于 LM 的模塊化鬻子理方法更赤鱬詢效率。研人員表示，實(shí)驗(yàn)結(jié)果強(qiáng)地表明，未關(guān)于用 LM 進(jìn)行推理的工作延該包后向鏈或吳權(quán)導(dǎo)向的策略參考資料：https://arxiv.org/abs/2212.13894本文來自微信武羅眾號(hào)：智元 （ID：AI_era），編輯：LRS