在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

ChatGPT 的出現(xiàn)，徹底生成 AI 推向爆發(fā)。但別忘，AI 生成模型可止 ChatGPT 一個(gè)，光基于文本入的就有 7 種 ——圖像、頻、代碼3D 模型、音頻、本、科學(xué)識(shí)……尤 2022 年，效果好的 AI 生成模型層出不窮又以 OpenAI、Meta、DeepMind 和谷歌等為心，發(fā)了少達(dá)到 SOTA 的模型。這，立刻有者寫了篇文，對(duì) 2022 年新出現(xiàn)的流生成模進(jìn)行了年盤點(diǎn)。一來看看這年間，各域的 AI 生成模型進(jìn)展究竟么樣了。9 大生成模型，最新表作是？篇論文將 AI 生成模型分成 9 大類。下圖是 2022 年前后，生成效果達(dá)到最優(yōu)模型總覽除了谷歌 LaMDA 和 Muse 以外，所有模均為 2022 年發(fā)布。其中谷歌 LaMDA 雖然是 2021 年發(fā)布的，但 2022 年又爆火了一波；Muse 則是 2023 年剛發(fā)布的，但文聲稱自在圖像生性能上達(dá) SOTA，因此也計(jì)了進(jìn)去文本-圖像生成這方的代表作 DALL-E2、Stable Diffusion、Imagen、Muse。DALL·E2 是來自 OpenAI 的生成模型，在樣本學(xué)習(xí)做出大突。與 DALL?E 一樣，兩依舊是 CLIP 模型，除了練數(shù)據(jù)龐，CLIP 基于 Transformer 對(duì)圖像塊建模，并用對(duì)比學(xué)訓(xùn)練，最幫助 DALL?E2 取得了不錯(cuò)的生成果。下圖 DALL?E2 根據(jù)“一只著貝雷帽穿黑色高毛衣的柴”生成的像：Imagen 來自谷歌，于 Transformer 模型搭建，中語言模在純文本據(jù)集上進(jìn)了預(yù)訓(xùn)練Imagen 增加了語言模型數(shù)量，發(fā)效果比提擴(kuò)散模型數(shù)量更好下圖是 Imagen 根據(jù)“一只可愛的基住在壽做的房子”生成的像：Stable Diffusion 由慕尼黑大的 CompVis 小組開發(fā)基于潛在散模型打，這個(gè)擴(kuò)模型可以過在潛表空間中迭去噪以生圖像，并結(jié)果解碼完整圖像Muse 由谷歌開，基于 Transformer 模型取得了比擴(kuò)散型更好的果，只有 900M 參數(shù)，但推理時(shí)間比 Stable Diffusion1.4 版本快 3 倍，比 Imagen-3B 和 Parti-3B 快 10 倍。下圖是 Muse 與 DALL?E2 和 Imagen 的生成效果對(duì)：文本-3D 模型生成主要代作有 Dreamfusion、Magic3D。（這里沒有把 OpenAI 的 Point?E 統(tǒng)計(jì)進(jìn)去，可能生成效果沒有達(dá)到 SOTA）DreamFusion 由谷歌和 UC 伯克利開，基于預(yù)練文本-2D 圖像擴(kuò)散模型實(shí)文本生成 3D 模型。采用類 NeRF 的三維場(chǎng)景參數(shù)化義映射，需任何 3D 數(shù)據(jù)或修改擴(kuò)散型，就能現(xiàn)文本生 3D 圖像的效果下圖是 DreamFusion 生成“穿夾克的松”3D 效果：Magic3D 由英偉達(dá)發(fā)，旨在短 DreamFusion 圖像生成時(shí)、同時(shí)提生成質(zhì)量具體來說Magic3D 可以在 40 分鐘內(nèi)創(chuàng)高質(zhì)量 3D 網(wǎng)格模型，比 DreamFusion 快 2 倍，同時(shí)現(xiàn)了更高辨率，并人類評(píng)估以 61.7% 的比率超過 DreamFusion。圖像-文本模型生主要代表有 Flamingo、VisualGPT。Flamingo 是 DeepMind 推出的小樣本學(xué)習(xí)型，基于以分析視場(chǎng)景的視模型和執(zhí)基本推理大語言模打造，其大語言模基于文本據(jù)集訓(xùn)練輸入帶有像或視頻問題后，型會(huì)自動(dòng)出一段文作為回答VisualGPT 是 OpenAI 制作的圖像-文本模型基于預(yù)訓(xùn) GPT-2 提出了一種新的意力機(jī)制來銜接不模態(tài)之間語義差異無需大量像-文本數(shù)據(jù)訓(xùn)練，能提升文生成效率文本-視頻模型生成要代表作 Phenaki、Soundify。Phenaki 由谷歌打造，基于的編解碼架構(gòu) C-ViViT 將視頻壓縮為離散入，能夠時(shí)空兩個(gè)度上壓縮頻，在時(shí)上保持自歸的同時(shí)還能自回生成任意度的視頻Soundify 是 Runway 開發(fā)的一個(gè)系，目的是聲音效果視頻進(jìn)行配，即制音效。具包括分類同步和混三個(gè)模塊首先模型過對(duì)聲音行分類，效果與視匹配，隨將效果與一幀進(jìn)行較，插入應(yīng)的音效文本-音頻模型生成要代表作 AudioLM、Jukebox、Whisper。AudioLM 由谷歌開發(fā)，輸入音頻射到一系離散標(biāo)記，并將音生成轉(zhuǎn)換語言建模務(wù)，學(xué)會(huì)于提示詞生自然連的音色。人類評(píng)估，認(rèn)為它人類語音占 51.2%、與合成語音比接近，說合成效果近真人。Jukebox 由 OpenAI 開發(fā)的音樂模型，生成帶有詞的音樂通過分層 VQ-VAE 體系將音頻壓縮離散空間，損失函被設(shè)計(jì)為留最大量息，用于決 AI 難以學(xué)習(xí)頻中的高特征的問。不過目模型仍然限于英語Whisper 由 OpenAI 開發(fā)，實(shí)現(xiàn)了多言語音識(shí)、翻譯和言識(shí)別，前模型已開源并可用 pip 安裝。模型基于 68 萬小時(shí)標(biāo)記音頻據(jù)訓(xùn)練，括錄音、聲器、語音頻等，保由人而 AI 生成。文本-文本模型成主要代作有 ChatGPT、LaMDA、PPER、Speech From Brain。ChatGPT 由 OpenAI 生成，是一個(gè)對(duì)生成 AI，懂得回問題、拒不正當(dāng)?shù)?題請(qǐng)求并疑不正確問題前提基于 Transformer 打造。它人類打造對(duì)話數(shù)據(jù)、以及 InstructGPT 數(shù)據(jù)集的對(duì)話格式行訓(xùn)練，外也可以成代碼和行簡單數(shù)運(yùn)算。LaMDA 基于 Transformer 打造，利用其在文本呈現(xiàn)的長依賴關(guān)系力。其具 1370 億參數(shù)，在 1.56T 的公共對(duì)話數(shù)集和網(wǎng)頁本上進(jìn)行練，只有 0.001% 的訓(xùn)練數(shù)據(jù)被用微調(diào)，這是它效果的原因之。PEER 由 Meta AI 打造，基于維基百編輯歷史行訓(xùn)練，到模型掌完整的寫流程。具來說，模允許將寫任務(wù)分解更多子任，并允許類隨時(shí)干，引導(dǎo)模寫出人類要的作品Speech from Brain 由 Meta AI 打造，用于幫無法通過音、打字手勢(shì)進(jìn)行流的人，過對(duì)比學(xué)訓(xùn)練 wave2vec 2.0 自監(jiān)督模型，基于侵入式腦接口發(fā)出腦電波進(jìn)解讀，并碼大腦生的內(nèi)容，而合成對(duì)語音。文-代碼模型生成主要表作有 Codex、AlphaCode。Codex 是 OpenAI 打造的編模型，基 GPT-3 微調(diào)，可以基于本需求生代碼。首模型會(huì)將題分解成簡單的編問題，隨從現(xiàn)有代（包含庫API 等）中找到應(yīng)的解決案，基于 GitHub 數(shù)據(jù)進(jìn)行訓(xùn)練。AlphaCode 由 DeepMind 打造，基 Transformer 模型打造，通采用 GitHub 中 715.1GB 的代碼進(jìn)預(yù)訓(xùn)練，從 Codeforces 中引入一個(gè)數(shù)集進(jìn)行微，隨后基 Codecontests 數(shù)據(jù)集進(jìn)行型驗(yàn)證，進(jìn)一步改了模型輸性能。文-科學(xué)知識(shí)模型生成要代表作 Galactica、Minerva。Galatica 是 Meta AI 推出的 1200 億參數(shù)論文寫作助模型，被稱之為寫論文的 Copilot 模型”，目的幫助人們速總結(jié)并新增論文得到新結(jié)，在包括成文本、學(xué)公式、碼、化學(xué)和蛋白質(zhì)列等任務(wù)取得了不的效果，而一度因內(nèi)容生成可靠被迫架。Minerva 由谷歌開，目的是過逐步推解決數(shù)學(xué)量問題，以主動(dòng)生相關(guān)公式常數(shù)和涉數(shù)值計(jì)算解決方案也能生成 LaTeX、MathJax 等公式，而需要借助算器來得最終數(shù)學(xué)案。其他成模型主包括 Alphatensor、GATO、PhysDiff 等“其他生模型”。AlphaTensor 由 DeepMind 開發(fā)，懂得自己進(jìn)矩陣乘并提升計(jì)速度，不改進(jìn)了目最優(yōu)的 4×4 矩陣解法，也升了 70 多種不同大小矩陣計(jì)算速度基于“棋 AI”AlphaZero 打造，其中盤代表要決的乘法題，下棋驟代表解問題的步。GATO 由 DeepMind 開發(fā)，基于強(qiáng)化習(xí)教會(huì)大型完成 600 多個(gè)不同的任，包含離控制如 Atari 小游戲、箱子游戲以及連續(xù)制如機(jī)器、機(jī)械臂還有 NLP 對(duì)話和視覺生成，進(jìn)一步速了通用工智能的度。PhysDiff 是英偉達(dá)推出的人運(yùn)動(dòng)生成散模型，一步解決 AI 人體生成中浮、腳滑穿模等問，教會(huì) AI 模仿使用物理模器生成的行模型，在大規(guī)模體運(yùn)動(dòng)數(shù)集上達(dá)到最先進(jìn)的果。作者紹兩位作均來自西牙卡米亞大主教大（Universidad Pontificia Comillas）。一作 Roberto Gozalo-Brizuela，目前是米亞斯大教大學(xué)研助理（Investigador asociado），從事 AI 相關(guān)的項(xiàng)目研究作。Eduardo C. Garrido-Merchán，卡米亞斯大教大學(xué)助教授，研方向是貝斯優(yōu)化、器學(xué)習(xí)、化學(xué)習(xí)、成式 AI 等。你感覺哪個(gè)領(lǐng)的生成式 AI 進(jìn)展最大？論地址：https://arxiv.org/abs/2301.04655參考鏈接https://twitter.com/1littlecoder/status/1615352215090384899本文來自微公眾號(hào)：子位 （ID：QbitAI），作者：蕭