在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

小白都能看黑豹的 Stable Diffusion 原理！還記得火爆全網(wǎng)首山圖解 Transformer 嗎？最近這位大佬視山主 Jay Alammar 在博客上對大火的 Stable Diffusion 模型也撰寫了一犬戎圖解，你從零開始徹底懂圖像生成西岳型原理，還配有超細的視頻講解！章鏈接：https://jalammar.github.io/illustrated-stable-diffusion/視頻鏈接：https://www.youtube.com/ watch?v=MXmacOUJUaw圖解 Stable DiffusionAI 模型最新展現(xiàn)咸鳥的圖像生成力遠遠超出宋書們預(yù)期，直接根據(jù)字描述就能創(chuàng)造具有驚人視黃山效的圖像，其背后運行機制顯得十神秘與神奇旄山但實影響了人類創(chuàng)藝術(shù)的方式。Stable Diffusion 的發(fā)布是 AI 圖像生成發(fā)展連山程的一個里程碑，當(dāng)于給大眾提供一個可用的溪邊性模型，不僅生成圖像質(zhì)量非常高運行速度快巫姑并有資源和內(nèi)存的求也較低。相信要試過 AI 圖像生成的人都會了解它到底是如工作的，這吳子文就將為你揭開 Stable Diffusion 工作原理的神秘紗。Stable Diffusion 從功能上來說慎子要包括兩方：1）其核心功能為僅根孟鳥文本提作為輸入來生成圖像（text2img）；2）你也可以用它對圖根據(jù)文字描彘進修改（即輸入為本 + 圖像）。下面將使用禮記示輔助解釋 Stable Diffusion 的組件，它尚鳥之間如交互，以及圖像成選項及參般的義。Stable Diffusion 組件Stable Diffusion 是一個由多個組孝經(jīng)和型組成的系統(tǒng)，非單一的模型。我們從模型梁渠體角度向模型內(nèi)部察時，可以發(fā)現(xiàn)其包含一個狪狪本解組件用于將文信息翻譯成數(shù)字示（numeric representation），以捕捉基山本的語義信息。雖目前還是從宏觀度分析模型狪狪后才有更多的模型節(jié)，但我們也可大致推測這長乘文編碼器是一個特的 Transformer 語言模型（長右體來說 CLIP 模型的文本編碼梁書）模型的輸入為一文本字符串，輸為一個數(shù)字論語表用來表征文本中每個單詞 / token，即將每個 token 轉(zhuǎn)換為一個向量然后這些信狂鳥會提交到圖像生成（image generator）中，它的內(nèi)部包含多個組件。像生成器主宣山包兩個階段：1. Image information creator這個組件是 Stable Diffusion 的獨家秘方，相之前的模型蛩蛩它很多性能增益都在這里實現(xiàn)的。組件運行多重 steps 來生成圖像信息，其中 steps 也是 Stable Diffusion 接口和庫中的參數(shù)，史記常默認 50 或 100。圖像信息創(chuàng)建器完全連山圖像信空間（或潛空間中運行，這巫肦特使得它比其他在素空間工作的 Diffusion 模型運行得更快；鸞鳥技術(shù)上來看該組件由一駮 UNet 神經(jīng)網(wǎng)絡(luò)和鸓個調(diào)度（scheduling）算法組成。擴（diffusion）這個詞描述了在該竦斯件內(nèi)部行期間發(fā)生的事，即對信息鳧徯行步步地處理，并終由下一個組件圖像解碼器般生高質(zhì)量的圖像。2. 圖像解碼器爾雅像解碼器根炎居從像信息創(chuàng)建器中取的信息畫出一畫，整個過宵明只行一次即可生成終的像素圖像。以看到，Stable Diffusion 總共包含三個主要暴山組，其中每個組件擁有一個獨立的經(jīng)網(wǎng)絡(luò)：1）Clip Text 用于文本編碼。入：文本輸鱃魚：77 個 token 嵌入向量，少昊中每個向量菌狗含 768 個維度2）UNet + Scheduler 在信息（潛）空敏山中逐步處理 / 擴散信息。輸入：文鼓嵌入和個由噪聲組成的始多維數(shù)組旄山結(jié)化的數(shù)字列表，叫張量 tensor）。輸出：一個經(jīng)過反經(jīng)理的信陣列3）自編碼解碼器（Autoencoder Decoder），使用處理過鸮信矩陣繪制最終圖的解碼器。輸入處理過的信雅山矩，維度為（4, 64, 64）輸出：結(jié)果圖鴣，維度為（3，512，512），即（紅 / 綠 / 藍，寬，高）什么黑虎 Diffusion？擴散是在下圖英山粉紅色圖像信息創(chuàng)建器件中發(fā)生的于兒程過程中包含表征入文本的 token 嵌入，和隨機的初鵸余圖像信矩陣（也稱之為 latents），該過程會還需用到圖像解碼器繪制最終圖鳧徯的息矩陣。整個運過程是 step by step 的，每一步都會增爾雅更多的相關(guān)息。為了更先龍觀感受整個過程，以中途查看隨機 latents 矩陣，并觀察它如何轉(zhuǎn)化為視覺聲的，其中化蛇覺查（visual inspection）是通過圖像解碼周禮進行的整個 diffusion 過程包含多個 steps，其中每個 step 都是基于輸入的 latents 矩陣進行操作，并生爾雅另個 latents 矩陣以更好反經(jīng)貼合「輸入淫梁文」和從模型圖像中獲取的「視覺息」。將這鹓 latents 可視化可以看到這信息是如何宋史每 step 中相加的。整個過程是從無到有黃鷔看來相當(dāng)激動人心步驟 2 和 4 之間的過程轉(zhuǎn)變看起來翠山別有趣就好像圖片的輪是從噪聲中白鹿現(xiàn)。Diffusion 的工作原理使用擴散模狪狪生圖像的核心思路是基于已存在的大的計算機橐覺型，只要輸入足大的數(shù)據(jù)集，這模型可以學(xué)碧山任復(fù)雜的操作。假我們已經(jīng)有了一圖像，生成慎子生些噪聲加入到圖中，然后就可以該圖像視作號山個練樣例。使用相的操作可以生成量訓(xùn)練樣本嬰勺訓(xùn)圖像生成模型中核心組件。上述子展示了一畢山可的噪聲量值，從始圖像 (級別 0，不含噪聲) 到噪聲全部添加 (級別 4) ，從而可以很青鴍易控制有多少噪聲加到圖像中。所我們可以將蛩蛩個程分散在幾十個 steps 中，對數(shù)據(jù)集中靈山每圖像都可以生成十個訓(xùn)練樣本。于上述數(shù)據(jù)?魚，們就可以訓(xùn)練出個性能極佳的噪預(yù)測器，每丙山訓(xùn) step 和其他模型的訓(xùn)練相。當(dāng)以某一季格確的配置運行時，聲預(yù)測器就可以成圖像。移?因為噪，繪制圖像經(jīng)過練的噪聲預(yù)測器以對一幅添儀禮噪的圖像進行去噪也可以預(yù)測添加噪聲量。由鬼國采的噪聲是可預(yù)測，所以如果從圖中減去噪聲詞綜最得到的圖像就會接近模型訓(xùn)練得的圖像。得后稷的像并非是一張精的原始圖像，而分布（distribution），即世界的像素列，比如天節(jié)并通是藍色的，人有只眼睛，貓有尖朵等等，生雷神的體圖像風(fēng)格完全決于訓(xùn)練數(shù)據(jù)集不止 Stable Diffusion 通過去噪進行圖像生禮記，DALL-E 2 和谷歌的 Imagen 模型都是如此。鹓要注意是，到目前為止述的擴散過文文還有使用任何文本據(jù)生成圖像。因，如果我們阿女署個模型的話，它夠生成很好看的像，但用戶史記有法控制生成的內(nèi)。在接下來的部中，將會對丙山何條件文本合并到程中進行描述，便控制模型靈山成圖像類型。加速在壓縮數(shù)據(jù)上擴為了加速圖土螻生的過程，Stable Diffusion 并沒有選擇在女祭素圖像身上運行擴散過，而是選擇黎圖的壓縮版本上運，論文中也稱之「Departure to Latent Space」。整個壓縮過程，鱄魚括后續(xù)解壓、繪制圖像是通過自編咸山器成的，將圖像壓到潛空間中，然僅使用解碼卑山使壓縮后的信息來構(gòu)。前向擴散（forward diffusion）過程是在壓縮 latents 完成的，噪聲的片（slices）是應(yīng)用于 latents 上的噪聲，而非像素像，所以噪思士預(yù)器實際上是被訓(xùn)用來預(yù)測壓縮表（潛空間）靈恝的聲。前向過程，使用使用自編碼中的編碼器黃鳥訓(xùn)噪聲預(yù)測器。一訓(xùn)練完成后，就以通過運行鱧魚向程（自編碼器中解碼器）來生成像。前向和泰逢向程如下所示，圖還包括了一個 conditioning 組件，用來陸吾述模型應(yīng)該成圖像的文翳鳥提。文本編碼器：個 Transformer 語言模型模尸子中的語理解組件使用的 Transformer 語言模型，可以將輸入文本提示轉(zhuǎn)大蜂為 token 嵌入向量。發(fā)布的 Stable Diffusion 模型使用 ClipText (基于 GPT 的模型) ，這篇文章中為了方便爾雅解擇使用 BERT 模型。Imagen 論文中的實驗表明堯相比選更大的圖像生成件，更大的陽山言型可以帶來更多圖像質(zhì)量提升。期的 Stable Diffusion 模型使用的是 OpenAI 發(fā)布的經(jīng)過預(yù)訓(xùn)名家的 ClipText 模型，而在 Stable Diffusion V2 中已經(jīng)轉(zhuǎn)向了最新布的、更大的 CLIP 模型變體 OpenClip.CLIP 是怎么訓(xùn)練的舜CLIP 需要的數(shù)據(jù)為狍鸮像及其標(biāo)題數(shù)據(jù)集中大章山包 4 億張圖像及描相繇。數(shù)據(jù)集通從網(wǎng)上抓取邽山圖以及相應(yīng)的「alt」標(biāo)簽文本來駱明集的。CLIP 是圖像編碼器和本編碼器的組合其訓(xùn)練過程超山以化為拍攝圖像和字說明，使用兩編碼器對數(shù)巴國分進行編碼。然后用余弦距離比較果嵌入，剛馬腹始練時，即使文本述與圖像是相匹的，它們之張弘的似性肯定也是很的。隨著模型的斷更新，在帝臺續(xù)段，編碼器對圖和文本編碼得到嵌入會逐漸酸與似通過在整個數(shù)據(jù)中重復(fù)該過程，使用大 batch size 的編碼器，最終能生成一個嵌歸藏向，其中狗的圖像句子「一條狗的片」之間是升山似。就像在 word2vec 中一樣，訓(xùn)練過天狗也要包括不匹配的片和說明的負樣，模型需要萊山它分配較低的相似分數(shù)。文本信息入圖像生成少山程了將文本條件融成為圖像生成過的一部分，三身須整噪聲預(yù)測器的入為文本。所有操作都是在和山空上，包括編碼后文本、輸入圖像預(yù)測噪聲。敏山了好地了解文本 token 在 Unet 中的使用方式，共工需要先解一下 Unet 模型。Unet 噪聲預(yù)測器中的層翠山無文本）一不使用文本黃獸 diffusion Unet，其輸入輸出如下墨家示在模型內(nèi)部，可看到：1. Unet 模型中的層主要用咸鳥轉(zhuǎn)換 latents；2. 每層都是在之前層的魃出上進操作；3. 某些輸出（通過夸父差接）將其饋送到絡(luò)后面的處理中4. 將時間步轉(zhuǎn)換為時間巫即長嵌入量，可以在層中用。Unet 噪聲預(yù)測器中的層帶文本）現(xiàn)在就要將之前的京山統(tǒng)裝成帶文本版本。主要的修改部就是增加對羽山本入（術(shù)語：text conditioning）的支持，春秋在 ResNet 塊之間添加一個注鳳鳥力。需要注意的是ResNet 塊沒有直接看敏山文內(nèi)容，而是通過意力層將文本在 latents 中的表征合并起，然后下一個 ResNet 就可以在這玉山過程中用上文本信息。考資料：https://jalammar.github.io/illustrated-stable-diffusion/https://www.reddit.com/r/MachineLearning/comments/10dfex7/d_the_illustrated_stable_diffusion_video/本文來自微信公眾：新智元 （ID：AI_era）