在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

小白都能看的 Stable Diffusion 原理！還記得火爆全網(wǎng)圖解 Transformer 嗎？最近這位大佬主 Jay Alammar 在博客上對大火的 Stable Diffusion 模型也撰寫了一圖解，讓你零開始徹底懂圖像生成型的原理，配有超詳細視頻講解！章鏈接：https://jalammar.github.io/illustrated-stable-diffusion/視頻鏈接：https://www.youtube.com/ watch?v=MXmacOUJUaw圖解 Stable DiffusionAI 模型最新展現(xiàn)的圖像生成力遠遠超出們的預期，接根據(jù)文字述就能創(chuàng)造具有驚人視效果的圖像其背后的運機制顯得十神秘與神奇但確實影響人類創(chuàng)造藝的方式。Stable Diffusion 的發(fā)布是 AI 圖像生成發(fā)展程中的一個程碑，相當給大眾提供一個可用的性能模型，僅生成的圖質(zhì)量非常高運行速度快并且有資源內(nèi)存的要求較低。相信要試過 AI 圖像生成的人都會想了它到底是如工作的，這文章就將為揭開 Stable Diffusion 工作原理的神秘面紗Stable Diffusion 從功能上來說要包括兩方：1）其核心功能為僅根文本提示作輸入來生成圖像（text2img）；2）你也可以用它對圖根據(jù)文字描進行修改（輸入為文本 + 圖像）。下面將使用示來輔助解 Stable Diffusion 的組件，它之間如何交，以及圖像成選項及參的含義。Stable Diffusion 組件Stable Diffusion 是一個由多個組和模型組成系統(tǒng)，而非一的模型。我們從模型體的角度向型內(nèi)部觀察，可以發(fā)現(xiàn)其包含一個本理解組件于將文本信翻譯成數(shù)字示（numeric representation），以捕捉本中的語義息。雖然目還是從宏觀度分析模型后面才有更的模型細節(jié)但我們也可大致推測這文本編碼器一個特殊的 Transformer 語言模型（體來說是 CLIP 模型的文本編碼）。模型的入為一個文字符串，輸為一個數(shù)字表，用來表文本中的每單詞 / token，即將每個 token 轉換為一個向量然后這些信會被提交到像生成器（image generator）中，它的內(nèi)部也包多個組件。像生成器主包括兩個階：1. Image information creator這個組件是 Stable Diffusion 的獨家秘方，相之前的模型它的很多性增益都是在里實現(xiàn)的。組件運行多 steps 來生成圖像信息，其中 steps 也是 Stable Diffusion 接口和庫中的參數(shù)，常默認為 50 或 100。圖像信息創(chuàng)建器完全圖像信息空（或潛空間中運行，這特性使得它其他在像素間工作的 Diffusion 模型運行得更快；技術上來看該組件由一 UNet 神經(jīng)網(wǎng)絡和個調(diào)度（scheduling）算法組成。擴散（diffusion）這個詞描述了在該件內(nèi)部運行間發(fā)生的事，即對信息行一步步地理，并最終下一個組件圖像解碼器生成高質(zhì)量圖像。2. 圖像解碼器像解碼器根從圖像信息建器中獲取信息畫出一畫，整個過只運行一次可生成最終像素圖像。以看到，Stable Diffusion 總共包含三個主要組件，其中個組件都擁一個獨立的經(jīng)網(wǎng)絡：1）Clip Text 用于文本編碼。入：文本輸：77 個 token 嵌入向量，中每個向量含 768 個維度2）UNet + Scheduler 在信息（潛）空中逐步處理 / 擴散信息。輸入：文嵌入和一個噪聲組成的始多維數(shù)組結構化的數(shù)列表，也叫量 tensor）。輸出：一個經(jīng)過理的信息陣3）自編碼解碼器（Autoencoder Decoder），使用處理過信息矩陣繪最終圖像的碼器。輸入處理過的信矩陣，維度（4, 64, 64）輸出：結果圖，各維度為3，512，512），即（紅 / 綠 / 藍，寬，高）什么 Diffusion？擴散是在下圖粉紅色的圖信息創(chuàng)建器件中發(fā)生的程，過程中含表征輸入本的 token 嵌入，和隨機的初圖像信息矩（也稱之為 latents），該過程會還需要用圖像解碼器繪制最終圖的信息矩陣整個運行過是 step by step 的，每一步都會增更多的相關息。為了更觀地感受整過程，可以途查看隨機 latents 矩陣，并觀察它是如轉化為視覺聲的，其中覺檢查（visual inspection）是通過圖像解碼進行的。整 diffusion 過程包含多個 steps，其中每個 step 都是基于輸入的 latents 矩陣進行操作，并生另一個 latents 矩陣以更好貼合「輸入文本」和從型圖像集中取的「視覺息」。將這 latents 可視化可以看到這信息是如何每個 step 中相加的。整個過程是從無到有看起來相當動人心。步 2 和 4 之間的過程轉變看起來別有趣，就像圖片的輪是從噪聲中現(xiàn)的。Diffusion 的工作原理使用擴散模生成圖像的心思路還是于已存在的大的計算機覺模型，只輸入足夠大數(shù)據(jù)集，這模型可以學任意復雜的作。假設我已經(jīng)有了一圖像，生成生一些噪聲入到圖像中然后就可以該圖像視作個訓練樣例使用相同的作可以生成量訓練樣本訓練圖像生模型中的核組件。上述子展示了一可選的噪聲值，從原始像 (級別 0，不含噪聲) 到噪聲全部添加 (級別 4) ，從而可以很易地控制有少噪聲添加圖像中。所我們可以將個過程分散幾十個 steps 中，對數(shù)據(jù)集中每張圖像都以生成數(shù)十訓練樣本。于上述數(shù)據(jù)，我們就可訓練出一個能極佳的噪預測器，每訓練 step 和其他模型的訓練相。當以某一確定的配置行時，噪聲測器就可以成圖像。移噪聲，繪制像經(jīng)過訓練噪聲預測器以對一幅添噪聲的圖像行去噪，也以預測添加噪聲量。由采樣的噪聲可預測的，以如果從圖中減去噪聲最后得到的像就會更接模型訓練得的圖像。得的圖像并非一張精確的始圖像，而分布（distribution），即世界的像素列，比如天通常是藍色，人有兩只睛，貓有尖朵等等，生的具體圖像格完全取決訓練數(shù)據(jù)集不止 Stable Diffusion 通過去噪進行圖像生，DALL-E 2 和谷歌的 Imagen 模型都是如此。要注意的是到目前為止述的擴散過還沒有使用何文本數(shù)據(jù)成圖像。因，如果我們署這個模型話，它能夠成很好看的像，但用戶有辦法控制成的內(nèi)容。接下來的部中，將會對何將條件文合并到流程進行描述，便控制模型成的圖像類。加速：在縮數(shù)據(jù)上擴為了加速圖生成的過程Stable Diffusion 并沒有選擇在素圖像本身運行擴散過，而是選擇圖像的壓縮本上運行，文中也稱之「Departure to Latent Space」。整個壓縮過程，括后續(xù)的解、繪制圖像是通過自編器完成的，圖像壓縮到空間中，然僅使用解碼使用壓縮后信息來重構前向擴散（forward diffusion）過程是在壓縮 latents 完成的，噪聲的切片slices）是應用于 latents 上的噪聲，而非像素像，所以噪預測器實際是被訓練用預測壓縮表（潛空間）的噪聲。前過程，即使使用自編碼中的編碼器訓練噪聲預器。一旦訓完成后，就以通過運行向過程（自碼器中的解器）來生成像。前向和向過程如下示，圖中還括了一個 conditioning 組件，用來述模型應該成圖像的文提示。文本碼器：一個 Transformer 語言模型模中的語言理組件使用的 Transformer 語言模型，可以將輸入文本提示轉為 token 嵌入向量。發(fā)布的 Stable Diffusion 模型使用 ClipText (基于 GPT 的模型) ，這篇文章中為了方便解選擇使用 BERT 模型。Imagen 論文中的實驗表明相比選擇更的圖像生成件，更大的言模型可以來更多的圖質(zhì)量提升。期的 Stable Diffusion 模型使用的是 OpenAI 發(fā)布的經(jīng)過預訓的 ClipText 模型，而在 Stable Diffusion V2 中已經(jīng)轉向了最新發(fā)布、更大的 CLIP 模型變體 OpenClip.CLIP 是怎么訓練的CLIP 需要的數(shù)據(jù)為像及其標題數(shù)據(jù)集中大包含 4 億張圖像及描。數(shù)據(jù)集通從網(wǎng)上抓取圖片以及相的「alt」標簽文本來集的。CLIP 是圖像編碼器和文本碼器的組合其訓練過程以簡化為拍圖像和文字明，使用兩編碼器對數(shù)分別進行編。然后使用弦距離比較果嵌入，剛始訓練時，使文本描述圖像是相匹的，它們之的相似性肯也是很低的隨著模型的斷更新，在續(xù)階段，編器對圖像和本編碼得到嵌入會逐漸似。通過在個數(shù)據(jù)集中復該過程，使用大 batch size 的編碼器，最終能生成一個嵌向量，其中的圖像和句「一條狗的片」之間是似的。就像 word2vec 中一樣，訓練過也需要包括匹配的圖片說明的負樣，模型需要它們分配較的相似度分。文本信息入圖像生成程為了將文條件融入成圖像生成過的一部分，須調(diào)整噪聲測器的輸入文本。所有操作都是在空間上，包編碼后的文、輸入圖像預測噪聲。了更好地了文本 token 在 Unet 中的使用方式，需要先了解下 Unet 模型。Unet 噪聲預測器中的層無文本）一不使用文本 diffusion Unet，其輸入輸出如下示：在模型部，可以看：1. Unet 模型中的層主要用轉換 latents；2. 每層都是在之前層的出上進行操；3. 某些輸出（通過差連接）將饋送到網(wǎng)絡面的處理中4. 將時間步轉換為時間長嵌入向量可以在層中用。Unet 噪聲預測器中的層（帶本）現(xiàn)在就要將之前的統(tǒng)改裝成帶本版本的。要的修改部就是增加對本輸入（術：text conditioning）的支持，在 ResNet 塊之間添加一個注力層。需要意的是，ResNet 塊沒有直接看文本內(nèi)容，是通過注意層將文本在 latents 中的表征合并起來，后下一個 ResNet 就可以在這過程中利用文本信息。考資料：https://jalammar.github.io/illustrated-stable-diffusion/https://www.reddit.com/r/MachineLearning/comments/10dfex7/d_the_illustrated_stable_diffusion_video/本文來自微信公眾：新智元 （ID：AI_era）