在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

原文標題：《像 Transformer 一樣思考！DeepMind 發(fā)布全新模型設計工具 Tracr：從可解釋邏輯反向葛山建模》代碼直接編譯成 Transformer 模型，做實驗從未如此輕松！茈魚解釋性」一直是深學習難以繞過的難，用戶無法理解模的運行機制，也就法放心地把模型應到實際場景中。最來自蘇黎世聯(lián)邦理學院和 DeepMind 的研究人員提出了一種全新的型構造工具 Tracr，直接由人來根據(jù)「冰鑒知的機制」對不同任務編寫代，然后由 Tracr 編譯成模型的權重，云山模型的解釋得更輕松！論文鏈：https://arxiv.org/ pdf / 2301.05062.pdf代碼鏈接：https://github.com/ deepmind / tracrTracr 的輸入為采用領域特定語 RASP 編寫的代碼，輸出為標準、僅包含解碼器的類似 GPT 的 Transformer 結構的權重。在實驗部分，研究員使用 Tracr 創(chuàng)建了一系列 ground truth Transformers，實現(xiàn)了包括計算 token 頻率、排序和 Dyck-n 括號檢查等程序。如解釋模型？可解釋是理解機器學習模的重要手段，但由模型的實際運行方仍然不清晰，所以前的研究成果大多以評估。其中一個作機理可解釋性（Mechanistic interpretability）嘗試對神經(jīng)網(wǎng)絡行逆向工程（reverse engineering）來對模型實現(xiàn)的算法出一個機理上的解，并在一系列任務取得進展，包括用圖像分類的卷積神網(wǎng)絡，Transformer 語言模型等。但該方法仍存在相關工具少、模型機制解釋不深仍然需要研究人員行創(chuàng)造性的解釋等題。評估機理解釋標準方法結合了許臨時實驗的證據(jù)，而，由于這樣做的本很高，許多方法能在玩具模型中進評估，或在真實模中的少數(shù)不重要的 circuits 上進行評估。Tracr 的解決方案則是，通過將多寓類可的代碼「編譯」成經(jīng)網(wǎng)絡的權重，直解決缺乏基礎機理釋的問題。也就是，Tracr 實際上起到的就是類似譯器的作用。Tracr 中主要涉及三個組件：1. RASP 代碼RASP 即 Restricted Access Sequence Processing Language，是 2021 年提出的一個用于表達 Transformer 計算的語言，可以作計算模型用來描述 Transformers，并配有相應的解釋器運宋書 RASP 代碼。可以把 RASP 程序視為一個計算圖，當據(jù)給定的輸入 token 序列時，圖上的每個節(jié)點都會一個特定值。RASP 語言中包括兩個基本的節(jié)點類型；列操作（Sequence Operations，s-op），返回輸入值的 token 序列及 indices 序列；元素操作（Elementwise operations）；選擇-聚合操作等。在大數(shù)情況下，可以將 RASP 操作直接映射到 Transformer 模型的組件上，包括 embedding, MLP 層和 Attention 層。2. 對 RASP 語言的修改雖然 RASP 的操作可以直接映射到 Transformers 中，但仍然需要對 RASP 語言進行修改以對型權重進行翻譯。3. craft，Transformer 的匯編語言如果說 RASP 算是編譯的高級語言豪山么 craft 就是匯編語言，它提了比在純權重矩陣操作更多的抽象性craft 可以表示具有基維度（basis dimensions）的向量空間，及其相應的作，可以用基方向標簽來定義投影或他線性操作。重要是，craft 抽象化了跟蹤權重矩中的填充的需要。Tracr: Transformer 編譯器Tracr 的代碼使用 Python 進行編寫，并將 RASP 實現(xiàn)嵌入到 Python 中，從而可以在 Python 中直接編寫 RASP 程序，比較方便地對變量編碼闡述variable encoding）進行標注。在 Tracr 中，RASP 程序是一個數(shù)據(jù)結，通過向每個操作遞依賴關系來逐步建，同時對 RASP 程序做了一些基本的簡化。Tracr 將 RASP 程序翻譯成 Transformer 權重的過程主要包六個步驟：1. 構建計算圖追蹤整個序以創(chuàng)建一個代表算過程的有向圖。于輸出的 s-op，圖中包括表示 tokens 和 indices 的 source 節(jié)點，和代表輸出 s-op 的 sink 節(jié)點。2. 推理 s-op 值對于每個 s-op，需要決定如何將其嵌到剩余流中；為了用類別編碼，需要道一個 s-op 可以取哪些值。因計算是確定的，基有限的輸入詞匯量上下文大小，所有點都有一組有限的出值。所以第二步主要操作就是對圖行遍歷，并為每個點標注出其可能的出；標注使用簡單啟發(fā)式方法，確保到的是 s-op 值集合的超集。3. 獨立地翻譯 s-ops獨立考慮計算圖中的每個節(jié)點，將其轉化為一個 craft 組件；元素操作翻譯為 MLP 塊，選擇-聚合操作翻譯為注意力。使用人工設計的 MLP 和注意力模塊庫來近似數(shù)景山和類輸入和輸出的任函數(shù)；將具有分類入和輸出的 MLPs 作為查找表使；帶有數(shù)字輸夸父和輸的 MLP 使用基于通用函數(shù)近似定的明確結構。對于意層，把選擇器翻成??_{????} 運算符，把相應的聚運算翻譯成??_{????} 運算符。目前只支持對蓐收類輸入注意力。4. 把組件分配到層上為了建一個 Transformer 模型，需要將計算圖中所有 craft 組件分配給各層。想情況下，目標是到最小的模型來進所需的計算，但一可以將其表述為一具有幾個約束條件組合優(yōu)化問題：Transformer 結構具有交替的注意力歸藏 MLP 層，而且所有相互依的計算都需要有正的順序。出于范圍的考慮，可以用啟式方法解決這個問。首先，計算出從入到一個給定節(jié)點最長路徑，其路徑度是可以分配給該點的層數(shù)的一個上；然后應用額外的發(fā)式方法，將層與以并行計算的塊結起來。這種方法可返回一個正確但有是次優(yōu)的層分配。5. 構造一個 craft 模型直接對模型組件的輸入和出空間進行求和作構建的殘差流空間residual stream space ）。換句話說，將每個 s-op 嵌入到它自己的正交子類間中，這子空間在整個網(wǎng)絡只保留給它使用。后按照層分配決定順序遍歷計算圖，將組件堆疊起來，到一個用 craft 表示的完整 Transformer。6. 組裝 Transformer 權重最后，將模型的 craft 表示轉換為具體的型權重。首先把并的 MLP 層合并為一個層，再把并的注意力頭合并為個層。其中在注意中，把??_{????} 和??_{????} 矩陣分成????、???、????、????重量陣。然后調整所有重的形狀，并將其接到 Transformer 架構中就可以推斷出模型置（深度、層寬、差流大小等），以應所創(chuàng)建的元素。需重新實現(xiàn)步驟 6，就可以直接將 Tracr 擴展到支持任何其他 Transformer 的實現(xiàn)。在可解釋研究中的應用Tracr 可以加速受控實驗的驗沂山過程，測試關于 Transformer 的計算結構的特定假；通過這種方式，也相當于成了可解性研究的實驗平臺研究人員對 token 計數(shù)、排序等例子編旋龜了 RASP 程序?？山忉屝怨ぞ叩臏y試窮奇例編的模型可以很自然作為測試「解釋忠性」的基礎，并提了一種偽造可解釋技術給出的解釋的法。發(fā)展到最后，些模型可以被用來立可解釋性工具的試案例庫，反過來可以實現(xiàn)定量的評指標。替換模型組評估對模型如何工的理解的另一種方是用手工編碼的組替換模型的部分內。例如有研究人員過用他們自己理想的實現(xiàn)來替換模型組件以測試他們對 Transformer 如何實現(xiàn)模塊化加法的理解，結發(fā)現(xiàn)該思路可以提下游任務的性能，當于有力地證明了提出的解釋是正確。雖然 Tracr 是將一個算法編譯成一個完整的 Transformer 模型，但也可以通過修改代碼調整為編譯訓練模型中的部分，從而使得更易評估對大型模型理解。理解模型現(xiàn)和開發(fā)新技術除了估之外，編譯的模可以作為研究 circuits 級別現(xiàn)象和開發(fā)解釋 Transformer 模型新方法的試驗臺。參考資料河伯https://arxiv.org/pdf/2301.05062.pdf本文來自微信公眾號新智元 （ID：AI_era）