告別玄學詠唱！AI 繪圖底層邏輯解析與 DiT 架構演進｜趙辰懷
如果你是一路從 Stable Diffusion 1.5、SDXL 拓荒過來，甚至熬夜煉過 Checkpoint、疊加過無數層 LoRA 與 ControlNet 的人，這種痛感應該早就刻進肌肉記憶裡。
過去為了逼迫 AI 吐出一張精確的構圖，我們像是在做某種數位玄學法事——正向咒語、反向詠唱、反覆抽卡算 Seed、微調 CFG 與採樣器，外加 ControlNet 的重重拘束器，最後還得靠 Inpainting 像修補壁癌一樣局部塗抹。
但現在的語境徹底翻轉了。 你只需要丟出一句極度白話的指令：「把照片裡的人轉成日本劇場版動畫風格。鎖死五官、髮型、服裝與攝影機站位，但全面重建光影衰減、材質紋理與場景細節。」 然後，它就真的做到了。
這背後的底層邏輯，已經不是單純的「模型參數變大」或「畫質解析度膨脹」。生成式 AI 正在跨越一道認知邊界：它從早期「死背像素排列的視覺慣性」，進化成「理解物件概念、空間關係，並能依據語意邏輯進行拓撲變形」。
當然，這是一種擬人化的概念性描述。在演算法的黑盒子裡，它並沒有真的為你建構出一張實體的 3D 場景圖或物件清單。但在表象上，它確實具備了拆解與重組的語意能力。
為了釐清這種「突然變聰明」的錯覺從何而來，我把這場底層架構的進化，硬拆成六個核心技術節點。我們直接從演算法的解剖學看起。
一、最關鍵的變化：模型學到的，不再只是畫面風格
我們先看一個概念上的對照。
早期生成思路
主要依靠文字條件，從雜訊中生成符合分布的畫面
新一代的能力
結合文字、參考影像及上下文，維持特徵與關係並執行編輯
圖片僅用於示意不同的視覺生成任務，不代表任何模型真實的內部處理畫面。
1. Stable Diffusion 早期是怎麼理解你的提示詞？
以 SD 1.5 為例，簡化的流程大致是：
SD理解提示詞的流程示意圖
假設你輸入：
A beautiful woman holding a red umbrella in Tokyo at night
SD 1.5 可能生成很漂亮的圖片，但也可能：
雨傘和手的空間關係出錯。
東京街景只是某種日式霓虹街道的概念。
要求左手持傘，結果變成右手。
要求精確文字招牌，卻生成難以辨認的字。
同一個人物換場景後，五官特徵很容易漂移。
原因不只是模型不夠大。更深層的問題是：影像模型能學到詞彙與視覺特徵之間的相關性，卻不一定能穩定掌握複雜的關係、指令約束與物件身分。而現在，各家模型正透過不同架構與訓練方式改善這件事。
二、Diffusion Transformer（DiT）：讓畫面不同區域能建立更豐富的關聯
這是重要的架構變化之一。
你熟悉的 SD 1.5 和 SDXL 主要使用 U-Net 作為去噪骨幹，但 Stable Diffusion 3 開始採用 Multimodal Diffusion Transformer（MMDiT）。
2024 年發表於 ICML 的研究指出，MMDiT 能讓文字與影像資訊進行雙向互動，改善文字理解、影像生成與文字呈現能力。
Transformer 為什麼有幫助？
先想像一張畫面：
「一名士兵站在城牆前，左手握著染血的刀，夕陽從右後方照射，牆上出現他的影子。」
這句話不只有名詞。
它至少包含了：
物件：士兵、城牆、刀、太陽、影子。
動作：站立、握持。
空間：左手、右後方、牆面。
光學關係：光源方向、遮蔽、投影。
語意關係：刀屬於士兵持有的物件，而影子應與士兵的形體有關。
傳統模型也能學習這些關係，但 Transformer 的 Attention 機制提供了一種更靈活的方式，使不同位置的資訊能相互參照。例如，畫面中代表「刀」的特徵可以與「手」的特徵建立關聯；代表「影子」的特徵，也能參考人物與周圍環境。
概念示意：Attention 如何參照其他畫面元素
這裡的 \(c\) 可以是文字或其他條件資訊。
其中一個潛在好處，是經過合適的訓練後，可以用更有效率的數值求解方式生成影像。
不過，Flow Matching 並不自動保證更精細或更快。實際效果還取決於模型骨幹、訓練方式、取樣器與推論步數。
這方面 Stable Diffusion 3 與 FLUX 系列都有代表性的研究成果。
把視角拉回我自己這陣子煉 MooMooIL 的焦慮。
過去我熬夜煉 Checkpoint，死磕的核心目標，無非是把某種特定的賽璐璐皮相、動畫電影的敘事構圖，或是某種極度私人的視覺語彙，暴力地刻進模型的權重裡。這當然還是有它的基本盤價值。
但走到現在，我意識到必須在底層邏輯上，把模型的「能力」狠狠切成兩塊：
第一種：視覺身分（Visual Identity） 也就是什麼東西構成了我作品裡那種無法被輕易取代的刺點？是角色骨架的比例、面部線稿的收邊、背景的塗抹筆觸，還是陰影切割的偏執？
第二種：視覺可控性（Visual Controllability） 也就是當我下達指令去動刀時，模型得知道什麼該變、什麼必須死死鎖住。換個鏡頭、換套衣服、甚至把光源從頂光切成底光，那個角色的「靈魂」與物理特徵依然得在場。
稍微切換回機器學習的冷硬視角，理想狀態下的潛在表徵（Latent Representation），在概念上應該被拆解成這樣：
當然，神經網路沒那麼乖，它不會在黑盒子裡幫你建好五個整整齊齊的 Excel 欄位。真實的潛在空間裡，這些特徵全是一坨互相死命糾纏（Entangled）的數據泥淖。真正的技術深水區，在於如何在這個高維度的泥淖裡，把這些變數乾淨地剝離開來、精準控制，再重新縫合。這本質上就是解耦表徵學習（Disentangled Representation Learning）在幹的髒活。
我甚至覺得，比起無腦堆算力去追求一個「更大、更華麗的 Checkpoint」，這才是我接下來真正該砸時間進去的無底洞。未來的 AIGC 戰場，早就不是比誰能算出更香的圖了。真正的權力，在於「絕對的控制權」——當你抽換掉畫面裡的一個變數時，其他所有不該動的像素，都能穩如泰山。
這也是為什麼，現在看著那些頂規的新模型，我已經不再覺得它們是在「畫圖」了。在看似生成一張平面的表象下，它們實則是在後台，冷酷地操作著一個完全可被解構、修改、再重新渲染的虛擬物理空間。
以上皆是現在線上免費生圖服務的成果，效果都非常好，從左上到右下方別是豆包、Gemini、Meta AI、Copilot、ChatGPT。有想法歡迎留言交流或是加入我的Line群一起學習交流。
為什麼早期的 Stable Diffusion 1.5 難以精準控制畫面？
早期模型主要依靠文字條件從雜訊中生成畫面，能學到詞彙與視覺特徵的相關性，卻難以穩定掌握複雜的空間關係、指令約束與物件身分，容易導致五官漂移或物件錯位。
什麼是 Diffusion Transformer (DiT) 架構？
DiT 是新一代的去噪骨幹架構（如 Stable Diffusion 3 所採用的 MMDiT）。它透過 Transformer 的 Attention 機制，讓文字與影像資訊能雙向互動，使畫面不同區域建立更豐富的關聯與語意理解。
新一代 AI 繪圖底層邏輯與過去有何不同？
過去模型偏向死背像素排列的視覺慣性，而新一代架構則進化到能理解物件概念與空間關係，並能依據語意邏輯進行拓撲變形，實現精準的局部修改與特徵鎖定。
什麼是解耦表徵學習（Disentangled Representation Learning）？
這是將潛在空間中互相糾纏的數據特徵（如視覺身分與物理特徵）乾淨剝離的技術。它能讓創作者在抽換畫面單一變數時，保持其他不該動的像素穩如泰山。
未來 AI 模型訓練的核心目標是什麼？
未來的戰場不再只是無腦堆算力追求畫質，而是追求「絕對的控制權」。創作者必須在底層邏輯上，將模型的視覺身分與視覺可控性分開處理，精準掌握畫面的每個變數。
本文同時發表在個人的部落格【伏名集・青原｜Guenter的AI共生實驗室】，歡迎也到個人FB或是Thread閱覽我最新作品。