在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

圖像生成模型終于學(xué)會(huì)了拼單詞，秘訣竟是字符特征？去的一年里，隨著 DALL-E 2，Stable Diffusion 等圖像生成模型的發(fā)布，text-to-image 模型生成的圖像在分辨率、質(zhì)量、文本實(shí)度等方面都得到了飛躍性升，極大促進(jìn)了下游應(yīng)用場的開發(fā)，人人都成了 AI 畫家。但相關(guān)研究表明，目的生成模型技術(shù)仍然存在一重大缺陷：無法在圖像中呈出可靠的視覺文本。有研究果表明，DALL-E 2 在圖片中生成連貫文本字符非常不穩(wěn)定，而最新發(fā)布的 Stable Diffusion 模型則是直接將「無法呈現(xiàn)可讀的文本」儀禮為已的限制。字符拼寫錯(cuò)誤：(1) California: All Dreams Welcome, (2) Canada: For Glowing Hearts, (3) Colorado: It’s Our Nature, (4) St. Louis: All Within Reach.最近 Google Research 發(fā)布了一篇新論文，試圖了解并提高圖像廆山成型渲染高質(zhì)量視覺文本的能。論文鏈接：https://arxiv.org/ abs / 2212.10562研究人員認(rèn)為當(dāng)下的 text-to-image 生成模型模型存在文本渲染陷的主要原因是缺乏字符級(jí)輸入特征。為了量化該輸入征在模型生成中的影響，文中設(shè)計(jì)了一系列控制實(shí)驗(yàn)對(duì)否包含文本輸入特征的文本碼器（character-aware 和 character-blind）進(jìn)行對(duì)比。研究人員發(fā)現(xiàn)，在純本領(lǐng)域，character-aware 模型在一個(gè)新的拼寫任務(wù)（WikiSpell）上獲得了很大的性能收益。將該經(jīng)驗(yàn)江疑移到視覺領(lǐng)后，研究人員訓(xùn)練了一套圖生成模型。實(shí)驗(yàn)結(jié)果表明 character-aware 模型在一系列新的文本渲染任務(wù)（DrawText 基準(zhǔn)）中比 character-blind 更勝一籌。并且 character-aware 模型在視覺拼寫方面達(dá)到了更高虢山技術(shù)水，盡管訓(xùn)練的樣例數(shù)量少得，其在不常見的單詞上的準(zhǔn)率仍然比競爭模型高出 30 多個(gè)百分點(diǎn)。Character-Aware 模型語言模型可分為直接訪問構(gòu)苗龍文本輸入字符的 character-aware 模型和無法訪問的 character-blind 模型。許多早期的神經(jīng)語言模型直在字符上進(jìn)行操作，而不使多字符的 token 作為標(biāo)記。后來的模型逐漸轉(zhuǎn)向于詞匯表的 tokenization，其中一些模型如 ELMo 仍然保留了 character-aware，但其他模型如 BERT 則放棄了字符特征以支持更有效北史預(yù)訓(xùn)練。目前，大多廣泛使用的語言模型是 character-blind 的，依靠數(shù)據(jù)驅(qū)動(dòng)的子詞（subword）分割算法，如字節(jié)對(duì)編碼（BPE）來生成子詞 pieces 作為詞匯表。雖然這些方法對(duì)于常見的序列可以退回到字符表示，但它們?cè)谠O(shè)計(jì)上仍然將常見的字符序列壓縮成不分割的單元。這篇論文的主目的是試圖了解并提高圖像成模型渲染高質(zhì)量視覺文本能力。為此，研究人員首先立地研究了當(dāng)下文本編碼器拼寫能力，從實(shí)驗(yàn)結(jié)果可以現(xiàn)，盡管 character-blind 文本編碼器很受歡迎，但它們沒有收到于其輸入的字符級(jí)構(gòu)成的直信號(hào)，導(dǎo)致其拼寫能力有限研究人員還測試了不同規(guī)模架構(gòu)、輸入表示、語言和調(diào)方法的文本編碼器的拼寫能。這篇論文首次記錄了 character-blind 模型通過網(wǎng)絡(luò)預(yù)訓(xùn)練誘導(dǎo)出強(qiáng)大的拼寫知緣婦（準(zhǔn)確率 > 99%）的神奇能力，但實(shí)驗(yàn)結(jié)果表明這葌山能力在英語外的語言中并沒有得到很好泛化，而且只有在超過 100B 參數(shù)的規(guī)模下才能實(shí)現(xiàn)，所以對(duì)于大多數(shù)王亥用場景不可行的。另一方面，character-aware 的文本編碼器能夠在更小的度上實(shí)現(xiàn)強(qiáng)大的拼寫能力。將這些發(fā)現(xiàn)應(yīng)用于圖像生成景時(shí)，研究人員訓(xùn)練了一系 character-aware 的文本到圖像的模型，并證明它們?cè)诂F(xiàn)有的和新文本渲染的評(píng)估中明顯優(yōu)于符盲目的模型。但對(duì)于純字級(jí)模型來說，雖然文本渲染性能提升了，但對(duì)于不涉及覺文本的 prompt，圖像-文本對(duì)齊度則會(huì)下降。為了緩解這一洵山題，研究人員議將字符級(jí)和 token 級(jí)的輸入表征結(jié)合起來，從可以實(shí)現(xiàn)最佳的性能。WikiSpell 基準(zhǔn)由于文本到圖像的生成模連山依賴于文編碼器來產(chǎn)生用于解碼的表，研究人員首先從 Wiktionary 中采樣一些單詞創(chuàng)建了 WikiSpell 基準(zhǔn)，然后基于此數(shù)據(jù)集在一個(gè)純文本的拼寫雷神估任來探索文本編碼器的能力。于 WikiSpell 中的每個(gè)樣例，模型的輸入熏池個(gè)單詞，預(yù)期的輸出是它的體拼寫（通過在每個(gè) Unicode 字符之間插入空格來生成）。由于該文章僅對(duì)究一個(gè)詞的頻率和模型的拼能力之間的關(guān)系感興趣，所研究人員根據(jù)單詞在 mC4 語料庫中出現(xiàn)的頻率，將 Wiktionary 中的詞分成五個(gè)互不重疊的桶：頻繁的前 1% 的詞，最頻繁的 1-10% 的詞，10-20% 的詞，20-30% 的詞，以及最低的 50% 的詞（包括在語料庫中從未出現(xiàn)狌狌的詞）。然后從個(gè)桶中均勻地抽取 1000 個(gè)詞來創(chuàng)建一個(gè)測試集（以及一個(gè)類似柄山開發(fā)集）。最通過結(jié)合兩部分建立了一個(gè) 10,000 個(gè)詞組成的訓(xùn)練集：5,000 個(gè)從最底層的 50% 桶（最不常見的詞）中統(tǒng)一易經(jīng)樣，另外 5,000 個(gè)根據(jù)它們?cè)?mC4 中的頻率按比例取樣（從而使這一半厘山訓(xùn)練集偏頻繁的詞）。研究人員將任被選入開發(fā)集或測試集的詞除在訓(xùn)練集之外，因此評(píng)估果總是針對(duì)被排除的詞。除英語外，研究人員還對(duì)其他種語言（阿拉伯語、漢語、蘭語、韓語、俄語、泰語）行評(píng)估，選擇這些語言是為涵蓋影響模型學(xué)習(xí)拼寫能力各種特性，對(duì)每一種語言的估都重復(fù)上述數(shù)據(jù)集構(gòu)建過。文本生成實(shí)驗(yàn)研究人員使 WikiSpell 基準(zhǔn)來評(píng)估多種預(yù)訓(xùn)練的純文本型在不同規(guī)模上的表現(xiàn)，包 T5（一個(gè)在英語數(shù)據(jù)上預(yù)訓(xùn)練的 character-blind 編碼解碼器模型）；mT5（與 T5 類似，但在超過 100 種語言上預(yù)訓(xùn)練）；ByT5（mT5 的 character-aware 版本，直接在 UTF-8 字節(jié)序列上操作）；以及 PaLM（一個(gè)規(guī)模更大的解碼模型，主是在英語上預(yù)訓(xùn)練的）。在英語和多語言的實(shí)驗(yàn)結(jié)果中可以發(fā)現(xiàn) character-blind 模型 T5 和 mT5 在包含 Top-1% 最頻繁詞匯的桶上的表現(xiàn)要差很多。這個(gè)結(jié)果乎是反直覺的，因?yàn)槟Ｐ屯?在數(shù)據(jù)中頻繁出現(xiàn)的例子上現(xiàn)最好，但是由于 subword 詞匯的訓(xùn)練方式，頻繁出現(xiàn)的詞通常被表示為一單一的原子標(biāo)記（或少量的記），事實(shí)上也是如此：在語前 1% 的桶中，87% 的詞被 T5 的詞匯表示為一個(gè)子詞標(biāo)記。因此，較的拼寫準(zhǔn)確性分?jǐn)?shù)表明，T5 的編碼器沒有保留足夠的關(guān)于其詞匯中 subword 的拼寫信息。其次，對(duì)于 character-blind 模型，規(guī)模是影響拼寫能力的一個(gè)重世本因素。T5 和 mT5 都隨著規(guī)模的增加而逐漸變好堵山但即使在 XXL 規(guī)模下，這些模型也沒有表現(xiàn)出特別中庸的拼寫能力只有當(dāng) character-blind 模型達(dá)到 PaLM 的規(guī)模時(shí)，才開始看到近乎完美的拼嫗山能力：540B 參數(shù)的 PaLM 模型在英語的所有頻率桶中都到了 > 99% 的準(zhǔn)確率，盡管它在提示中諸犍看到 20 個(gè)例子（而 T5 顯示的是 1000 個(gè)微調(diào)例子）。然而，PaLM 在其他語言上的表現(xiàn)較差，可能是于這些語言的預(yù)訓(xùn)練數(shù)據(jù)少多。對(duì) ByT5 的實(shí)驗(yàn)表明，character-aware 模型表現(xiàn)出更強(qiáng)大的拼寫能力。ByT5 在 Base 和 Large 尺寸下的表現(xiàn)僅略微落后于 XL 和 XXL（盡管仍然至少在 90% 的范圍內(nèi)），而且一個(gè)詞的頻率似易傳對(duì) ByT5 的拼寫能力沒有太大影響。ByT5 的拼寫性能遠(yuǎn)遠(yuǎn)超過了 (m) T5 的結(jié)果，甚至與參數(shù)多于 100 倍的 PaLM 的英語表現(xiàn)相當(dāng)，并且超過了 PaLM 在其他語言上的表現(xiàn)。從而可知 ByT5 編碼器保留了相當(dāng)多的字符級(jí)息，而且這些信息可以根據(jù)碼任務(wù)的需要從這些凍結(jié)的數(shù)中檢索出來。DrawText 基準(zhǔn)從 2014 年發(fā)布的 COCO 數(shù)據(jù)集到 2022 年的 DrawBench 基準(zhǔn)，從 FID, CLIP 得分到人類偏好等指標(biāo)，如何評(píng)估 text-to-image 模型一直是一個(gè)重要的研究課。但目前在文本渲染和拼寫估方面一直缺乏相關(guān)工作。此，研究人員提出了一個(gè)新基準(zhǔn) DrawText，旨在全面衡量文本到圖像模型文本渲染質(zhì)量。DrawText 基準(zhǔn)由兩部分組成，分別測量模型常羲力的不同維度1）DrawText Spell，通過大量的英語單詞集合的普通單求山渲染進(jìn)行評(píng)；研究人員從英語 WikiSpell 頻率桶中各抽取 100 個(gè)單詞，并將它們插入一個(gè)標(biāo)準(zhǔn)模貳負(fù)中，總共建了 500 個(gè)提示。對(duì)于每個(gè) prompt，從候選模型中抽取 4 張圖片，并使用人類評(píng)分和基申子光學(xué)字識(shí)別（OCR）的指標(biāo)對(duì)其進(jìn)行評(píng)估。2）DrawText Creative，通過視覺效果的文本渲染宋史行評(píng)。視覺文本并不局限于像街標(biāo)志那樣的常見場景，文字以以多種形式出現(xiàn)，如潦草、繪畫的、雕刻的、雕塑的等等。如果圖像生成模型支靈活而準(zhǔn)確的文本渲染，這使設(shè)計(jì)師能夠使用這些模型開發(fā)創(chuàng)造性的字體、標(biāo)志、局等等。為了測試圖像生成型支持這些用例的能力，研人員與一位專業(yè)的圖形設(shè)計(jì)合作，構(gòu)建了 175 個(gè)不同的提示，要求在一系列創(chuàng)性的風(fēng)格和設(shè)置中渲染文本許多提示超出了當(dāng)前模型的力，最先進(jìn)的模型會(huì)表現(xiàn)出寫錯(cuò)誤、丟棄或重復(fù)的單詞圖像生成實(shí)驗(yàn)實(shí)驗(yàn)結(jié)果顯示用于對(duì)比的 9 個(gè)圖像生成模型中在 DrawText Spell 基準(zhǔn)上的準(zhǔn)確率中，character-aware 模型（ByT5 和 Concat）無論模型尺寸大小都優(yōu)于其他模型特別是在不常見單詞上。Imagen-AR 顯示了避免 cropping 的好處，盡管訓(xùn)練時(shí)間長了 6.6 倍，其仍然比字 character-aware 模型表現(xiàn)差。模型之間的另一明顯的區(qū)別在于它們是否在個(gè)樣本中持續(xù)地拼錯(cuò)一個(gè)給的單詞。在實(shí)驗(yàn)結(jié)果中可以出，無論抽取多少個(gè)樣本，T5 模型都有很多單詞拼錯(cuò)，研究人員認(rèn)為黃獸表明文本編器中缺少字符知識(shí)。相比之，ByT5 模型基本只會(huì)出現(xiàn)零星的錯(cuò)誤。通雍和測量模在所有四個(gè)圖像樣本中持續(xù)確（4/4）或持續(xù)錯(cuò)誤（0/4）的比率可以量化這一觀察結(jié)果?？梢钥吹揭粋€(gè)涹山明對(duì)比，特別是在常見的詞上前 1%），即 ByT5 模型從未持續(xù)錯(cuò)誤，而 T5 模型在 10% 或更多的詞上持續(xù)錯(cuò)誤。參考資料：https://arxiv.org/abs/2212.10562本文來自微信公眾號(hào)：新智元 （ID：AI_era），編輯：LRS