在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

圖像生成模型于學(xué)會了拼寫詞，秘訣竟是符特征？過去一年里，隨著 DALL-E 2，Stable Diffusion 等圖像生成模型的布，text-to-image 模型生成的圖像在分辨率質(zhì)量、文本忠度等方面都得了飛躍性提升極大促進了下應(yīng)用場景的開，人人都成了 AI 畫家。但相關(guān)研究表明目前的生成模技術(shù)仍然存在個重大缺陷：法在圖像中呈出可靠的視覺本。有研究結(jié)表明，DALL-E 2 在圖片中生成連貫本字符上非常穩(wěn)定，而最新布的 Stable Diffusion 模型則是直接將無法呈現(xiàn)可讀文本」列為已的限制。字符寫錯誤：(1) California: All Dreams Welcome, (2) Canada: For Glowing Hearts, (3) Colorado: It’s Our Nature, (4) St. Louis: All Within Reach.最近 Google Research 發(fā)布了一篇新文，試圖了解提高圖像生成型渲染高質(zhì)量覺文本的能力論文鏈接：https://arxiv.org/ abs / 2212.10562研究人員認為當下 text-to-image 生成模型模型存在文本渲染陷的主要原因缺乏字符級的入特征。為了化該輸入特征模型生成中的響，文章中設(shè)了一系列控制驗對是否包含本輸入特征的本編碼器（character-aware 和 character-blind）進行對比。研究人員現(xiàn)，在純文本域，character-aware 模型在一個新的拼寫務(wù)（WikiSpell）上獲得了很大的性收益。將該經(jīng)遷移到視覺領(lǐng)后，研究人員練了一套圖像成模型。實驗果表明 character-aware 模型在一系列新文本渲染任務(wù)DrawText 基準）中比 character-blind 更勝一籌。并且 character-aware 模型在視覺拼寫面達到了更高技術(shù)水平，盡訓(xùn)練的樣例數(shù)少得多，其在常見的單詞上準確率仍然比爭模型高出 30 多個百分點。Character-Aware 模型語言模型可分為直訪問構(gòu)成其文輸入字符的 character-aware 模型和無法訪問的 character-blind 模型。許多早期的經(jīng)語言模型直在字符上進行作，而不使用字符的 token 作為標記。后來的模型漸轉(zhuǎn)向基于詞表的 tokenization，其中一些模型如 ELMo 仍然保留了 character-aware，但其他模型如 BERT 則放棄了字符征以支持更有的預(yù)訓(xùn)練。目，大多數(shù)廣泛用的語言模型 character-blind 的，依靠數(shù)據(jù)驅(qū)動的子（subword）分割算法，如字節(jié)對編碼BPE）來生成子詞 pieces 作為詞匯表。雖然這些法對于不常見序列可以退回字符級表示，它們在設(shè)計上然會將常見的符序列壓縮成可分割的單元這篇論文的主目的是試圖了并提高圖像生模型渲染高質(zhì)視覺文本的能。為此，研究員首先孤立地究了當下文本碼器的拼寫能，從實驗結(jié)果以發(fā)現(xiàn)，盡管 character-blind 文本編碼器很受歡迎，但們沒有收到關(guān)其輸入的字符構(gòu)成的直接信，導(dǎo)致其拼寫力有限。研究員還測試了不規(guī)模、架構(gòu)、入表示、語言調(diào)整方法的文編碼器的拼寫力。這篇論文次記錄了 character-blind 模型通過網(wǎng)絡(luò)訓(xùn)練誘導(dǎo)出強的拼寫知識（確率 > 99%）的神奇能力，但實驗結(jié)果明這項能力在語之外的語言并沒有得到很的泛化，而且有在超過 100B 參數(shù)的規(guī)模下才能實現(xiàn)所以對于大多應(yīng)用場景是不行的。另一方，character-aware 的文本編碼器能夠在更的尺度上實現(xiàn)大的拼寫能力在將這些發(fā)現(xiàn)用于圖像生成景時，研究人訓(xùn)練了一系列 character-aware 的文本到圖像的模型，并明它們在現(xiàn)有和新的文本渲的評估中明顯于字符盲目的型。但對于純符級模型來說雖然文本渲染性能提升了，對于不涉及視文本的 prompt，圖像-文本對齊度則下降。為了緩這一問題，研人員建議將字級和 token 級的輸入表征結(jié)合起來，而可以實現(xiàn)最的性能。WikiSpell 基準由于文本圖像的生成模依賴于文本編器來產(chǎn)生用于碼的表征，研人員首先從 Wiktionary 中采樣一些單詞創(chuàng)建了 WikiSpell 基準，然后基于此數(shù)據(jù)在一個純文本拼寫評估任務(wù)探索文本編碼的能力。對于 WikiSpell 中的每個樣例，模型的入是一個單詞預(yù)期的輸出是的具體拼寫（過在每個 Unicode 字符之間插入空來生成）。由該文章僅對研一個詞的頻率模型的拼寫能之間的關(guān)系感趣，所以研究員根據(jù)單詞在 mC4 語料庫中出現(xiàn)的頻率將 Wiktionary 中的詞分成五個不重疊的桶：頻繁的前 1% 的詞，最頻繁的 1-10% 的詞，10-20% 的詞，20-30% 的詞，以及最的 50% 的詞（包括在語庫中從未出現(xiàn)的詞）。然后每個桶中均勻抽取 1000 個詞來創(chuàng)建一個測試集（以一個類似的開集）。最后通結(jié)合兩部分建了一個由 10,000 個詞組成的訓(xùn)練集5,000 個從最底層的 50% 桶（最不常見的詞）中一取樣，另外 5,000 個根據(jù)它們在 mC4 中的頻率按比例取樣（而使這一半的練集偏向頻繁詞）。研究人將任何被選入發(fā)集或測試集詞排除在訓(xùn)練之外，因此評結(jié)果總是針對排除的詞。除英語外，研究員還對其他六語言（阿拉伯、漢語、芬蘭、韓語、俄語泰語）進行評，選擇這些語是為了涵蓋影模型學(xué)習拼寫力的各種特性對每一種語言評估都重復(fù)上數(shù)據(jù)集構(gòu)建過。文本生成實研究人員使用 WikiSpell 基準來評估多種預(yù)訓(xùn)練純文本模型在同規(guī)模上的表，包括 T5（一個在英語數(shù)上預(yù)訓(xùn)練的 character-blind 編碼解碼器模型）；mT5（與 T5 類似，但在超過 100 種語言上預(yù)訓(xùn)練）；ByT5（mT5 的 character-aware 版本，直接在 UTF-8 字節(jié)序列上操作）；以 PaLM（一個規(guī)模更大的碼模型，主要在英語上預(yù)訓(xùn)的）。在純英和多語言的實結(jié)果中，可以現(xiàn) character-blind 模型 T5 和 mT5 在包含 Top-1% 最頻繁詞匯的桶的表現(xiàn)要差很。這個結(jié)果似是反直覺的，為模型通常在據(jù)中頻繁出現(xiàn)例子上表現(xiàn)最，但是由于 subword 詞匯的訓(xùn)練方，頻繁出現(xiàn)的通常被表示為個單一的原子記（或少量的記），事實上是如此：在英前 1% 的桶中，87% 的詞被 T5 的詞匯表示為一子詞標記。因，較低的拼寫確性分數(shù)表明T5 的編碼器沒有保留足夠關(guān)于其詞匯中 subword 的拼寫信息。其次，對于 character-blind 模型，規(guī)模是影響拼寫能力一個重要因素T5 和 mT5 都隨著規(guī)模的增加而逐漸好，但即使在 XXL 規(guī)模下，這些模型也有表現(xiàn)出特別的拼寫能力。有當 character-blind 模型達到 PaLM 的規(guī)模時，才開始看鈐山近乎美的拼寫能力540B 參數(shù)的 PaLM 模型在英語的有頻率桶中都到了 > 99% 的準確率，盡管它在提示只看到 20 個例子（而 T5 顯示的是 1000 個微調(diào)例子）。然，PaLM 在其他語言上的現(xiàn)較差，可能由于這些語言預(yù)訓(xùn)練數(shù)據(jù)少多。對 ByT5 的實驗表明，character-aware 模型表現(xiàn)出更強大的求山能力。ByT5 在 Base 和 Large 尺寸下的表現(xiàn)僅略微落后 XL 和 XXL（盡管仍然至少在 90% 的范圍內(nèi)），而且一個詞的率似乎對 ByT5 的拼寫能力沒有太大影。ByT5 的拼寫性能遠遠過了 (m) T5 的結(jié)果，甚至與參數(shù)多 100 倍的 PaLM 的英語表現(xiàn)相當并且超過了 PaLM 在其他語言上的表現(xiàn)從而可知 ByT5 編碼器保留了相當多的符級信息，而這些信息可以據(jù)解碼任務(wù)的要從這些凍結(jié)參數(shù)中檢索出。DrawText 基準從 2014 年發(fā)布的 COCO 數(shù)據(jù)集到 2022 年的 DrawBench 基準，從 FID, CLIP 得分到人類偏好等指，如何評估 text-to-image 模型一直是一個要的研究課題但目前在文本染和拼寫評估面一直缺乏相工作。為此，究人員提出了個新的基準 DrawText，旨在全面衡文本到圖像模的文本渲染質(zhì)。DrawText 基準由兩部分組成，分測量模型能力不同維度：1）DrawText Spell，通過大量的語單詞集合的通單詞渲染進評估；研究人從英語 WikiSpell 頻率桶中各抽 100 個單詞，并將它們入一個標準模中，總共構(gòu)建 500 個提示。對于每個 prompt，從候選模型中取 4 張圖片，并使用人類分和基于光學(xué)符識別（OCR）的指標對其行評估。2）DrawText Creative，通過視覺效果的文本渲進行評估。視文本并不局限像街道標志那的常見場景，字可以以多種式出現(xiàn)，如潦的、繪畫的、刻的、雕塑的等等。如果圖生成模型支持活而準確的文渲染，這將使計師能夠使用些模型來開發(fā)造性的字體、志、布局等等為了測試圖像成模型支持這用例的能力，究人員與一位業(yè)的圖形設(shè)計合作，構(gòu)建了 175 個不同的提示，要求一系列創(chuàng)造性風格和設(shè)置中染文本。許多示超出了當前型的能力，最進的模型會表出拼寫錯誤、棄或重復(fù)的單。圖像生成實實驗結(jié)果顯示用于對比的 9 個圖像生成模型中在 DrawText Spell 基準上的準確率中character-aware 模型（ByT5 和 Concat）無論模型尺寸大小優(yōu)于其他模型特別是在不常單詞上。Imagen-AR 顯示了避免 cropping 的好處，盡管訓(xùn)練時間長土螻 6.6 倍，其仍然比字 character-aware 模型表現(xiàn)差。型之間的另一明顯的區(qū)別在它們是否在多樣本中持續(xù)地錯一個給定的詞。在實驗結(jié)中可以看出，論抽取多少個本，T5 模型都有很多單詞錯，研究人員為這表明文本碼器中缺少字知識。相比之，ByT5 模型基本只會出零星的錯誤。過測量模型在有四個圖像樣中持續(xù)正確（4/4）或持續(xù)錯誤（0/4）的比率可以量化一觀察結(jié)果。以看到一個鮮的對比，特別在常見的詞上前 1%），即 ByT5 模型從未持續(xù)錯，而 T5 模型在 10% 或更多的詞上續(xù)錯誤。參考料：https://arxiv.org/abs/2212.10562本文來自微信公號：新智元 （ID：AI_era），編輯：LRS