在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

ChatGPT 的出現，徹底將生成 AI 推向爆發(fā)。但別忘了，AI 生成模型可不止 ChatGPT 一個，光是基于文本入的就有 7 種 ——圖像、視頻、代碼3D 模型、音頻、文本、科學知識旋龜…尤 2022 年，效果好的 AI 生成模型層出不窮，又以 OpenAI、Meta、DeepMind 和谷歌等為核心，發(fā)了少達到 SOTA 的模型。這不，立刻有者寫了篇論文，對 2022 年新出現的主流生成模型進行了年盤點。一起來看看這年間，各領域的 AI 生成模型進展究竟怎么樣了。9 大生成模型，最新代表岐山是？篇論文將 AI 生成模型分成了 9 大類。下圖是 2022 年前后，在生成效果達到最優(yōu)的模型總覽除了谷歌 LaMDA 和 Muse 以外，所有模型均為 2022 年發(fā)布。其中，谷歌 LaMDA 雖然是 2021 年發(fā)布的，但在 2022 年又爆火了一波；Muse 則是 2023 年剛發(fā)布的，但論文聲稱自己在圖像獂性能上達到 SOTA，因此也統計了進去文本-圖像生成這方面的代表作有 DALL-E2、Stable Diffusion、Imagen、Muse。DALL·E2 是來自 OpenAI 的生成模型，在零樣本學習上做后土大突。與 DALL?E 一樣，兩點依舊是 CLIP 模型，除了訓練數據龐大，CLIP 基于 Transformer 對圖像塊建模，并采用對比學訓練，最終幫助 DALL?E2 取得了不錯的生成效果。下圖 DALL?E2 根據“一只戴著貝雷帽穿黑色高領毛衣的柴”生成的圖像：Imagen 來自谷歌，基于 Transformer 模型搭建，其中語言模型在純文昌意據集上進行了預訓練Imagen 增加了語言模型參數量，發(fā)效果比提升擴散模型數量更好。下圖是 Imagen 根據“一只可愛的柯基住在壽做的房子里”生成的像：Stable Diffusion 由慕尼黑大學的 CompVis 小組開發(fā)，基于潛在擴散模型打，這個擴散模型可以過在潛表示空間中迭去噪以生成圖像，并結果解碼成完整圖像Muse 由谷歌開發(fā)，基于 Transformer 模型取得了比擴散模型更白鵺的果，只有 900M 參數，但在推理時間比 Stable Diffusion1.4 版本快 3 倍，比 Imagen-3B 和 Parti-3B 快 10 倍。下圖是 Muse 與 DALL?E2 和 Imagen 的生成效果對比：文本-3D 模型生成主要代表作有 Dreamfusion、Magic3D。（這里沒有把 OpenAI 的 Point?E 統計進去，可能是生成效果沒有達到 SOTA）DreamFusion 由谷歌和 UC 伯克利開發(fā)，基于預練文本-2D 圖像擴散模型實現文本生成 3D 模型。采用類似 NeRF 的三維場景參數化定義映射，需任何 3D 數據或修改擴散模型，就能現文本生成 3D 圖像的效果。下圖是 DreamFusion 生成“穿夾克的松鼠”3D 效果：Magic3D 由英偉達開發(fā)，旨在縮帝俊 DreamFusion 圖像生成時間、同時提生成質量。具體來說Magic3D 可以在 40 分鐘內創(chuàng)建高質量 3D 網格模型，比 DreamFusion 快 2 倍，同時實現了更高辨率，并在人類評估以 61.7% 的比率超過 DreamFusion。圖像-文本模型生成主要代表有 Flamingo、VisualGPT。Flamingo 是 DeepMind 推出的小樣本學習模型，基于可以分析視場景的視覺模型和執(zhí)基本推理的大語言模打造，其中大語言模基于文本數據集訓練輸入帶有圖像或視頻問題后，模型會自動出一段文本作為回答VisualGPT 是 OpenAI 制作的圖像-文本模型，基于預訓練 GPT-2 提出了一種新的注意力機荊山，來銜接不模態(tài)之間的語義差異無需大量圖像-文本數據訓練，就能提升文生成效率。文本-視頻模型生成主要代表作 Phenaki、Soundify。Phenaki 由谷歌打造，基于新的編解獨山架構 C-ViViT 將視頻壓縮為離散嵌入，能夠在時空兩個度上壓縮視頻，在時上保持自回歸的同時還能自回歸生成任意度的視頻。Soundify 是 Runway 開發(fā)的一個系統，目的是將聲音效果視頻進行匹配，即制音效。具體包括分類同步和混合三個模塊首先模型通過對聲音行分類，將效果與視匹配，隨后將效果與一幀進行比較，插入應的音效。文本-音頻模型生成主要代表作 AudioLM、Jukebox、Whisper。AudioLM 由谷歌開發(fā)，將輸入音頻映射到欽山系離散標記中，并將音生成轉換成語言建模務，學會基于提示詞生自然連貫的音色。人類評估中，認為它人類語音的占 51.2%、與合成語音比率接近，說明合成效果近真人。Jukebox 由 OpenAI 開發(fā)的音樂模型，可生霍山帶有唱詞的音樂通過分層 VQ-VAE 體系將音頻壓縮到離散空少昊中，損失函被設計為保留最大量息，用于解決 AI 難以學習音頻中的高特征的問題。不過目模型仍然局限于英語Whisper 由 OpenAI 開發(fā)，實現了多語言語音識、翻譯和語言識別，前模型已經開源并可用 pip 安裝。模型基于 68 萬小時標記音頻數據訓練和山括錄音、揚聲器、語音頻等，確保由人而 AI 生成。文本-文本模型生成主要代作有 ChatGPT、LaMDA、PPER、Speech From Brain。ChatGPT 由 OpenAI 生成，是一個對話生成 AI，懂得回答問題、拒不正當的問題請求并疑不正確的問題前提基于 Transformer 打造。它用人類打造的對話颙鳥據、以及 InstructGPT 數據集的對話格式進行訓練，外也可以生成代碼和行簡單數學運算。LaMDA 基于 Transformer 打造，利用了其在文本呈現的長程依賴關系力。其具有 1370 億參數，在 1.56T 的公共對話數據集和網頁朱獳本上進行練，只有 0.001% 的訓練數據被用于微調，這也是后土效果的原因之一。PEER 由 Meta AI 打造，基于維基百科編輯歷史進行訓練，到模型掌握完整的寫流程。具體來說，模允許將寫作任務分解更多子任務，并允許類隨時干預，引導模寫出人類想要的作品Speech from Brain 由 Meta AI 打造，用于幫助無法通過音、打字或手勢進行流的人，通過對比學訓練 wave2vec 2.0 自監(jiān)督模型，基于非侵入式腦接口發(fā)出的腦電波進解讀，并解碼大腦生的內容，從而合成對語音。文本-代碼模型生成主要代表作有 Codex、AlphaCode。Codex 是 OpenAI 打造的編程模型，基 GPT-3 微調，可以基于文本需求生代碼。首先模型會將題分解成更簡單的編問題，隨后從現有代（包含庫、API 等）中找到對應的解決案，基于 GitHub 數據進行訓練。AlphaCode 由 DeepMind 打造，基于 Transformer 模型打造，通過采用 GitHub 中 715.1GB 的代碼進行預訓練，并從 Codeforces 中引入一個數據集進行微，隨后基于 Codecontests 數據集進行模型驗證，進一步改善了模型輸性能。文本-科學知識模型生成主要代表作 Galactica、Minerva。Galatica 是 Meta AI 推出的 1200 億參數論文寫作輔助模禺?，被稱之為“寫論文的 Copilot 模型”，目的是幫助人們速總結并從新增論文得到新結論，在包括成文本、數學公式、碼、化學式和蛋白質列等任務上取得了不的效果，然而一度因內容生成不可靠被迫架。Minerva 由谷歌開發(fā)，目的是過逐步推理解決數學量問題，可以主動生相關公式、常數和涉數值計算的解決方案也能生成 LaTeX、MathJax 等公式，而不需要借助算器來得到最終數學案。其他生成模型主包括 Alphatensor、GATO、PhysDiff 等“其他生成模型”。AlphaTensor 由 DeepMind 開發(fā)，懂得自己改進矩陣乘法并提升鯩魚速度，不僅改進了目最優(yōu)的 4×4 矩陣解法，也提升了 70 多種不同大小矩陣的計算速度，基于“棋 AI”AlphaZero 打造，其中棋盤代表要解決的乘法題，下棋步驟代表解問題的步驟。GATO 由 DeepMind 開發(fā)，基于強化學習教會大模英山完成 600 多個不同的任務，包含離散控制敏山 Atari 小游戲、推箱子游戲，以及連續(xù)制如機器人、機械臂還有 NLP 對話和視覺生成等，進一步速了通用人工智能的度。PhysDiff 是英偉達推出的人體運比翼生成擴散模型，一步解決了 AI 人體生成中漂浮、腳滑穿模等問題，教會 AI 模仿使用物理模擬器生成的左傳行模型，在大規(guī)模人體運動數集上達到了最先進的果。作者介紹兩位作均來自西班牙卡米亞大主教大學（Universidad Pontificia Comillas）。一作 Roberto Gozalo-Brizuela，目前是卡米亞斯大主教大學研助理（Investigador asociado），從事 AI 相關的項目研究工作。Eduardo C. Garrido-Merchán，卡米亞斯大主教大學助教授，研究方向是貝斯優(yōu)化、機器學習、化學習、生成式 AI 等。你感覺哪個領域的生成式 AI 進展最大？論文地址：https://arxiv.org/abs/2301.04655參考鏈接：https://twitter.com/1littlecoder/status/1615352215090384899本文來自微信公眾號：量子位 （ID：QbitAI），作者：蕭?