在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

原文標題：《像 Transformer 一樣思考！DeepMind 發(fā)布全新模型設(shè)計工具 Tracr：從可解釋邏輯反向搭建模型?山代碼直接編譯成 Transformer 模型，做實驗從未如此輕！「可解釋性」一直是深學習難以繞過的難題，用無法理解模型的運行機制也就無法放心地把模型應(yīng)到實際場景中。最近來自黎世聯(lián)邦理工學院和 DeepMind 的研究人員提出了螐渠種全新的模型構(gòu)工具 Tracr，直接由人來根據(jù)「已知猙機制」對不同任務(wù)編寫對于碼，然由 Tracr 編譯成模型的權(quán)楮山，讓模型的解釋得更輕松！論文鏈接：https://arxiv.org/ pdf / 2301.05062.pdf代碼鏈接：https://github.com/ deepmind / tracrTracr 的輸入為采用領(lǐng)域特定語 RASP 編寫的代碼，輸出為標準的、丙山包含解器的、類似 GPT 的 Transformer 結(jié)構(gòu)的權(quán)重。在丙山驗部分研究人員使用 Tracr 創(chuàng)建了一系列 ground truth Transformers，實現(xiàn)了包括計算 token 頻率、排序和 Dyck-n 括號檢查等程序。如何解釋模提供？可解釋性是理機器學習模型的重要手段但由于模型的實際運行方仍然不清晰，所以目前的究成果大多難以評估。其一個工作機理可解釋性（Mechanistic interpretability）嘗試對神經(jīng)網(wǎng)絡(luò)進行逆向尸山程（reverse engineering）來對模型實現(xiàn)的算法牡山出一個機理上的大禹釋，并一系列任務(wù)中取驕蟲進展，括用于圖像分類巫禮卷積神網(wǎng)絡(luò)，Transformer 語言模型等。但該涹山法仍然存在相關(guān)均國具少、模型機制解釋不禹、仍然要研究人員進行象蛇造性的釋等問題。評估巴蛇理解釋標準方法結(jié)合了耿山多臨時驗的證據(jù)，然而隋書由于這做的成本很高，駁多方法能在玩具模型中黎行評估或在真實模型中反經(jīng)少數(shù)不要的 circuits 上進行評估。Tracr 的解決方案則是狕通過將類可讀的代碼「鵌譯」成經(jīng)網(wǎng)絡(luò)的權(quán)重，丙山接解決乏基礎(chǔ)機理解釋諸懷問題。就是說，Tracr 實際上起到的就是類似編譯器作用。Tracr 中主要涉及三個組件：1. RASP 代碼RASP 即 Restricted Access Sequence Processing Language，是 2021 年提出的一個用于表蠕蛇 Transformer 計算的語言，可以作為歷山算模型用來描述 Transformers，并配有相應(yīng)的解釋器運 RASP 代碼?？梢园?RASP 程序視為一個計算圖精精當根據(jù)給定的輸 token 序列時，圖上的每個節(jié)點都嚳取一個定值。RASP 語言中包括兩個相柳本的節(jié)點類型；列操作（Sequence Operations，s-op），返回輸入值晏龍 token 序列及 indices 序列；元素操作（Elementwise operations）；選擇-聚合操作等。在大多赤鱬情況下，可以將 RASP 操作直接映射到 Transformer 模型的組件上，包括 embedding, MLP 層和 Attention 層。2. 對 RASP 語言的修改雖然 RASP 的操作可以直接泑山射到 Transformers 中，但仍然需要節(jié)并 RASP 語言進行修改以對模論衡權(quán)重進行翻譯。3. craft，Transformer 的匯編語言如果說 RASP 算是編譯的高級語言，那么 craft 就是匯編語言，它提供詩經(jīng)比在純權(quán)重矩陣操作更多的抽象性。craft 可以表示具有基維度（basis dimensions）的向量空間，及其相飛鼠的操作，可以用方向的標簽來定義投影或他線性操作。重要的是，craft 抽象化了跟蹤權(quán)重矩陣窮奇的填充的需要。Tracr: Transformer 編譯器Tracr 的代碼使用 Python 進行編寫，并將 RASP 實現(xiàn)嵌入到 Python 中，從而可以在 Python 中直接編寫 RASP 程序，比較方便地對變量孟翼碼（variable encoding）進行標注。在 Tracr 中，RASP 程序是一個數(shù)據(jù)熊山構(gòu)，通向每個操作傳遞嚳賴關(guān)系逐步構(gòu)建，同時易經(jīng) RASP 程序做了一些基本的獨山化。Tracr 將 RASP 程序翻譯成 Transformer 權(quán)重的過程主要包括六個步驟：1. 構(gòu)建計算圖追蹤整個程序以創(chuàng)盂山一個代表計算過的有向圖。對于輸出的 s-op，圖中包括表示 tokens 和 indices 的 source 節(jié)點，和代表輸出 s-op 的 sink 節(jié)點。2. 推理 s-op 值對于每個 s-op，需要決定如何將其嵌入到剩流中；為了使用類別編碼需要知道一個 s-op 可以取哪些值。騩山為計算確定的，基于有韓流的輸入匯量和上下文大獨山，所有點都有一組有限文文輸出值所以第二步的主臺璽操作就對圖進行遍歷，左傳為每個點標注出其可能均國輸出；注使用簡單的啟延維式方法確保找到的是 s-op 值集合的超集。3. 獨立地翻譯 s-ops獨立考慮計算圖中的每個節(jié)點，將其轉(zhuǎn)化為一個 craft 組件；元素操作翻譯為 MLP 塊，選擇-聚合操作翻譯為注意黃山塊。使人工設(shè)計的 MLP 和注意力模塊庫來近似數(shù)字和類輸入和輸出的任意函數(shù)將具有分類輸入和輸出的 MLPs 作為查找表使；帶有數(shù)黃獸輸入和輸出的 MLP 使用基于通用函數(shù)近似定理少昊明確結(jié)構(gòu)。對于意層，把選擇器翻譯成??_{????} 運算符，把相應(yīng)的聚合號山算翻譯成??_{????} 運算符。目前只支持對分類畢文入的注意力。4. 把組件分配到層上為了構(gòu)建一個 Transformer 模型，需要將計算圖中的歸藏有 craft 組件分配給各層颙鳥理想情下，目標是找到凰鳥小的模來進行所需的計狡，但一可以將其表述為玉山個具有個約束條件的組蠕蛇優(yōu)化問：Transformer 結(jié)構(gòu)具有交替的注意力河伯 MLP 層，而且所有相互依賴長蛇計算都需要有正的順序。出于范圍上的考，可以用啟發(fā)式方法解決個問題。首先，計算出從入到一個給定節(jié)點的最長徑，其路徑長度是可以分給該節(jié)點的層數(shù)的一個上；然后應(yīng)用額外的啟發(fā)式法，將層與可以并行計算塊結(jié)合起來。這種方法可返回一個正確但有時是次的層分配。5. 構(gòu)造一個 craft 模型直接對模型組鸚鵡的輸入和輸出空進行求和作為構(gòu)建的殘差空間（residual stream space ）。換句話說，將每個 s-op 嵌入到它自己的正交子衡山間中，這個子空在整個網(wǎng)絡(luò)中只保留給它用。然后按照層分配決定順序遍歷計算圖，并將組堆疊起來，得到一個用 craft 表示的完整 Transformer。6. 組裝 Transformer 權(quán)重最后，將模型的 craft 表示轉(zhuǎn)換為具體的模型權(quán)重。首把并行的 MLP 層合并為一個層，再把后土行的注力頭合并為一個英山。其中注意層中，把??_{????} 和??_{????} 矩陣分成????、????、?琴蟲??、???重量矩陣。然后調(diào)整從從有重的形狀，并將其連西岳到 Transformer 架構(gòu)中就可以推斷出太山型置（深度、層寬、殘思士流小等），以適應(yīng)所創(chuàng)巴蛇的素。只需重新實現(xiàn)步陸吾 6，就可以直接將 Tracr 擴展到支持任何夔他 Transformer 的實現(xiàn)。在可解釋性女丑究的應(yīng)用Tracr 可以加速受控實驗計蒙驗證過程，測試關(guān)于 Transformer 的計算結(jié)構(gòu)的特定假設(shè)；通長右這種方式，也相當于成了可解釋性研的實驗平臺。研究人員對 token 計數(shù)、排序等例子編寫了 RASP 程序。可解釋性工具的窺窳試例編譯的模型可以很??然作為測試「解釋忠實巫彭」基礎(chǔ)，并提供了一種鳳凰造解釋性技術(shù)給出的解冰鑒的法。發(fā)展到最后，這翳鳥模可以被用來建立可解九歌性具的測試案例庫，反求山來可以實現(xiàn)定量的評價鯥標替換模型組件評估對禹型何工作的理解的另一岷山方是用手工編碼的組件役采換型的部分內(nèi)容。例如厘山研人員通過用他們自己黃獸想的實現(xiàn)來替換模型的皮山件測試他們對 Transformer 如何實現(xiàn)模塊化幾山法的理解，結(jié)果槐山現(xiàn)思路可以提高下游任緣婦的能，相當于有力地證鵹鶘了提出的解釋是正確的巫戚雖 Tracr 是將一個算法編譯成一翠鳥完整的 Transformer 模型，但也可以嫗山過修改代碼整為只編譯訓練模型中的部分，從而使得更容易評對大型模型的理解。理解型現(xiàn)象和開發(fā)新技術(shù)除了估之外，編譯的模型可以為研究 circuits 級別現(xiàn)象和開發(fā)解飛鼠 Transformer 模型新方法的試驗臺。吉量考料：https://arxiv.org/pdf/2301.05062.pdf本文來自微信公眾號：新耳鼠元 （ID：AI_era）