Thermodynamic Diffusion Inference with Minimal Digital Conditioning
透過階層實體耦合與僅 2,560 參數的微型介面，熱力學擴散推論能在維持 0.99 準確度下節省 1,000 萬倍能耗。
- 將擴散模型轉換為物理朗之萬動力學，可徹底免除 GPU 矩陣乘法並節省 10^7 倍整體能源。
- 階層雙線性耦合將 U-Net 跳躍連接的實體佈線需求從 O(D^2) 降至 O(Dk)，解決類比硬體擴展死結。
- 僅需 2,560 個參數的極簡數位介面，成功克服類比訊號高達 2,600 倍的自然衰減與輸入條件化障礙。
當代 AI 推論的運算極限不在於演算法優化，而在於物理結構的運算代價，而利用物理定律自動完成推論的熱力學計算，理論上能帶來高達 10,000,000 倍的能源節省。研究人員成功在具備 Stable Diffusion 拓撲的生產級 U-Net 擴散模型上，突破了長期阻礙類比運算擴展的兩大實體物理障礙。透過極少量數位參數與降階耦合設計，系統在保留 0.9906 推論準確度的同時，徹底捨棄了傳統 GPU 龐大的矩陣乘法。
突破能耗極限的熱力學擴散推論
擴散模型的反向推論過程，在數學形式上與過阻尼朗之萬方程式（overdamped Langevin dynamics，描述粒子在黏滯流體中受熱雜訊驅動的方程式）完全等價。只要把機器學習的機率分佈負對數視為物理系統中的「位能」，就能製造出一個直接映射此函數的物理基質（physical substrate，執行類比運算的實體電路）。這種系統純粹依靠熱力學平衡就能自動收斂到正確輸出，推論期間完全不需要進行任何數位算術運算。
過去這項原理已經在簡單的數字生成任務上被驗證，甚至有基於 CMOS 打造的硬體展現出相對於 GPU 高達 10,000 倍的能源效率。然而，要將這項技術推向生產級模型（如當今生成式 AI 依賴的 U-Net 架構），會立刻撞上兩道難以跨越的物理高牆。首先是 U-Net 必需的實體跨層連接設計，這在局部耦合的類比電路中極難實現；其次是硬體固定的耦合常數會導致極大的訊號衰減，讓硬體無法辨識不同的輸入指令。
以 O(Dk) 實體接線克服 U-Net 非局部跳躍瓶頸
生產環境中的 U-Net 架構極度依賴跳躍連接（skip connections，將淺層特徵直接傳遞給深層的神經網路設計），拔除這層架構會導致生成品質大幅劣化。但在局部相連的類比硬體上，要達成這種長距離互動需要 $O(D^2)$ 級別的實體線路（$D$ 為特徵維度）。對於現代模型動輒上萬的特徵維度來說，這種指數級別的實體接線成本在工程上根本不切實際。
研究團隊提出「階層雙線性耦合（Hierarchical Bilinear Skip Coupling）」機制來解開這個死結。他們利用已訓練權重中潛藏的低秩（low-rank）奇異矩陣結構，將跳躍連接壓縮成僅需 $O(Dk)$ 個實體記憶體電阻的耦合匯流排。實驗證明，在秩 $k=16$ 的設定下，採用真實模型啟動值測試能產生 12.74% 的解碼器偏移量，且變異係數小於 1.5%。這顯示即使大幅壓縮實體連線，類比硬體仍能精準捕捉訓練模型所需的結構化偏差。
極簡 2,560 個參數打破 2,600 倍輸入訊號赤字
在物理基質中推論的另一個致命傷，被稱為「訊號赤字定理（Signal-Deficit Theorem）」。如果要讓物理硬體收斂到特定的目標啟動值，單靠物理基質內建的耦合常數來傳遞偏差訊號是行不通的。這是因為 Gram 矩陣（Gram matrices，計算特徵向量內積以衡量相關性的矩陣）的特徵值分佈極度集中，跨越多個維度會讓訊號產生高達 2,600 倍的衰減，導致硬體無法根據不同輸入產生對應變化。
為了解決這項結構性的弱點，作者設計了一套微型的數位介面組件。這套機制由一個 4 維的瓶頸編碼器，搭配擁有 16 個隱藏單元的轉移網路所構成。在特徵維度 $D=64$ 的情況下，整個介面僅包含 2,560 個參數，大小僅佔 U-Net 總體參數的 0.032%。這個極小的微型網路成功學習到編碼器與解碼器偏差訊號間的統計映射關係，將微弱的物理訊號牢牢錨定至正確的輸入目標上。
達 0.9906 餘弦相似度與 10^7 倍系統淨能源節省
系統運作時，微型數位介面會在每個去噪步驟計算所需的偏差，透過數位類比轉換器（DAC）載入，接著物理基質在熱雜訊下自動達到平衡，最後再經由類比數位轉換器（ADC）讀出結果。研究人員採用與 Stable Diffusion 1.5 相同拓撲結構的精簡版模型進行測試。在真實訓練權重下，這個包含微型介面的完整管線，其解碼器輸出的餘弦相似度達到了 0.9906，幾乎貼近完美的理論值 1.0000。
更具代表性的是系統整體的能耗表現。單次物理基質的平衡過程僅需約 $4.2 \times 10^{-16}$ 焦耳，對比 A100 GPU 相似步驟需消耗 $8 \times 10^{-3}$ 焦耳，原始硬體層的效率落差高達 $2 \times 10^{13}$ 倍。即便保守估計並納入 ADC/DAC 轉換時所消耗的 1,000 倍能量衰減，系統層級的效率提升仍高達 100 億倍。因為數位介面附加的運算量小於 0.1%，系統整體的理論淨能源節省依然穩穩維持在 10,000,000 倍（$10^7\times$）。
邁向生產級熱力學 AI 硬體時代的後續工程挑戰
模型參數在物理基質中的混合時間（即系統達到熱力學平衡所需的時間）決定了實際的推論速度。根據這項研究的頻譜分佈分析，系統混合時間的擴展呈現 $O(\log D)$ 而非 $O(D^2)$，這確保了當模型維度擴展至工業級規模時，依然能保有巨大的推論優勢。此外，對照組實驗顯示，未經訓練的隨機權重會讓相似度暴跌至 0.014，證明只有經過訓練的模型才能注入奇異結構，發揮實體耦合的功效。
目前從演算法架構到物理推論的藍圖已經完整，數位運算介面也不再是耗能的阻礙。高達 0.9906 的相似度明確證明了熱力學運算概念在現代擴散模型上的有效性。未來的發展核心將從數學與架構驗證轉移至純粹的工程實踐，包含物理基質材料的選擇、高效能 ADC/DAC 晶片設計，以及實體線路的良率最佳化，完全不依賴 GPU 算術邏輯單元的 AI 運算時代正在成形。
熱力學物理計算已突破 U-Net 的實體佈線與訊號衰減障礙，未來 AI 硬體的競爭可能從電晶體微縮轉向物理能態的精確控制。