SPLIT: Self-supervised Partitioning for Learned Inversion in Nonlinear Tomography

Markus Haltmeier, Lukas Neumann, Nadja Gruber, Gyeongha Hwang

View Original ↗
AI 導讀 technology AI 重要性 4/5

SPLIT 框架透過多重數據分割與測量域損失,成功讓 5 通道多光譜 CT 在零真實影像下完成非線性自監督重建。

  • SPLIT 解決了非線性反問題無法依賴線性特性的瓶頸,其自監督損失期望值在數學上被證明等同於監督式訓練。
  • Double-SPLIT 同時在角度與空間探測器兩個維度進行分割,搭配 U-net 在零空間中有效消除欠採樣與泊松噪聲偽影。
  • 系統內建基於交叉域 PSNR 的自動早停機制,精準偵測無參考影像條件下的過擬合發散點並終止訓練。

機器學習在斷層掃描(CT)重建任務中表現驚人,但高階監督式訓練高度仰賴大量「成對測量與真實影像」,這在實務場景中往往難以取得。為了解決非線性反問題中缺乏基準影像的困境,研究團隊提出 SPLIT 自監督學習框架。這項全新技術完全不需要任何高畫質真實影像作為參考,就能在處理 5 個能量通道、包含 262,450 條射線積分的稀疏視角數據時,達到超越傳統迭代算法的驚人重建品質。

突破線性 Radon 變換:多光譜 CT 模型

傳統線性斷層掃描依賴反轉 Radon 變換,將內部結構視為純量衰減圖,但這種簡化模型忽略了 X 射線的多色物理特性與材料能量衰減差異。單一能量區間會將不同能量的衰減圖強行合併,導致非唯一性與射束硬化等嚴重成像偽影。多光譜 CT(MSCT)透過採集 5 個不同能量頻帶的投影數據,成功保留了隨能量變化的衰減特徵,但也讓運算轉變成極度複雜的非線性反問題。

在這個物理模型中,研究人員必須從 B=5 個頻譜測量值,反推 M=3 種基礎材料(如水、碘、釓)的空間密度分佈。測量過程不僅包含非線性轉換,還必須處理與信號強度相關的泊松噪聲(Poisson noise)及附加電子噪聲。為了解決初始運算瓶頸,研究團隊導入了 CP-fast 一步迭代演算法作為前置處理,該算法免除了完整前向模型導數的計算,能透過預先計算的預處理矩陣提供高效率的初始影像重建。

跨越 Noise2Inverse 限制的非線性解法

回顧現有技術發展,自監督學習方法在線性成像領域已有穩固基礎。例如用於降噪的 Noise2Self 確立了「對角線免除(diagonal-free)」映射原則,確保輸出座標不依賴對應的輸入座標;Noise2Inverse 將資料分割技術應用於全視角投影域;而 Sparse2Inverse 則透過將網路架構放在重建域、損失函數放在測量域,初步克服了稀疏數據帶來的欠採樣偽影。

然而,上述框架皆無法直接套用於非線性前向模型。SPLIT(Self-supervised Partitioning for Learned Inversion in Nonlinear Tomography) 框架正是為填補此理論空白而生。該架構揚棄了過去依賴線性算子特性的推導限制,建立了一套同時處理非線性物理模型、欠採樣缺失與測量噪聲的綜合自監督解法,在零真實數據的條件下實現複雜模型的反演。

導入多重數據分割與 Theorem 1 理論證明

系統架構的核心創新在於引入史無前例的「多重數據分割(Multi-partitioning)」機制。相較於現有自監督方法僅依賴單一維度的切分,SPLIT 允許將測量域同時切分為 $K$ 個不同任務導向的子集,藉此獨立處理噪聲抑制或彌補視角缺失。透過部分重建算子 $\mathcal{B}_{i,j}$ 與其補集算子,系統能將受限的測量子集轉換回 $\mathbb{R}^N$ 影像重建空間。

在嚴謹的數學層面,論文推導出核心定理 Theorem 1:在噪聲具備像素獨立且均值為零的條件下,SPLIT 於測量域計算的自監督損失函數值,其數學期望值與擁有真實基準影像的監督式損失完全等價。這意味著神經網路在輔助輸入數據與目標輸出數據之間進行優化時,能確保收斂到理論最佳解,同時讓網路保有在算子零空間(null space)中運作的自由度,大幅提升修正欠採樣偽影的能力。

Double-SPLIT 實作:解決角度與空間探測器欠採樣

針對多光譜 CT 的具體挑戰,研究團隊實作了進階的雙重分割版本 Double-SPLIT。運算流程將大小為 256×256 像素的影像數據,分別沿著空間探測器指數與投影角度方向各切分為兩個互補子集。在角度分割方面,演算法以奇數與偶數視角為基準,結合受限的特定角度前向算子;在空間偏移分割方面,則先執行線性插值,再應用包含完整物理模型的前向算子進行處理。

訓練基礎建設採用對每個通道獨立運作的 U-net 網路模型,將這四組相互補充的分割數據送入測量域進行聯合優化。透過最終的交叉平均推論機制,Double-SPLIT 得以無縫匯集來自所有子集的推論結果,有效抑制單一子集訓練可能殘留的模型幾何偏差,展現出遠勝單一分割(Single-SPLIT)的強健性。

監測 PSNR 飽和點的自動早停防護機制

執行自監督學習在迭代過程中極易面臨過擬合(Overfitting)風險,尤其在完全缺乏基準影像的情況下,極難抓準最佳的停止時機。為此,團隊設計了一種基於無參考影像品質(no-reference image-quality surrogate)的自動停止規則。系統會在訓練時,持續比對兩組不重疊目標域(如奇數角與偶數角子集)所生成的網路輸出差異。

運作邏輯根植於模型過擬合的動態特徵:一旦網路開始死背訓練特徵,其對不同目標域的預測輸出就會開始嚴重發散。系統透過計算平均峰值信噪比(PSNR)來量化這種交叉域的差異,當 PSNR 數值達到最小飽和點時,就會強制終止優化過程。這套自動防護機制確保了模型在面臨高強度泊松噪聲干擾時,依然能維持極佳的泛化能力,產出高還原度的材料密度圖。

透過獨創的多重測量域分割與無參考早停機制,SPLIT 在數學上證明了非線性斷層掃描也能在零真實影像下實現精準的反演重建。

Abstract

Machine learning has achieved impressive performance in tomographic reconstruction, but supervised training requires paired measurements and ground-truth images that are often unavailable. This has motivated self-supervised approaches, which have primarily addressed denoising and, more recently, linear inverse problems. We address nonlinear inverse problems and introduce SPLIT (Self-supervised Partitioning for Learned Inversion in Nonlinear Tomography), a self-supervised machine-learning framework for reconstructing images from nonlinear, incomplete, and noisy projection data without any samples of ground-truth images. SPLIT enforces cross-partition consistency and measurement-domain fidelity while exploiting complementary information across multiple partitions. Our main theoretical result shows that, under mild conditions, the proposed self-supervised objective is equivalent to its supervised counterpart in expectation. We regularize training with an automatic stopping rule that halts optimization when a no-reference image-quality surrogate saturates. As a concrete application, we derive SPLIT variants for multispectral computed tomography. Experiments on sparse-view acquisitions demonstrate high reconstruction quality and robustness to noise, surpassing classical iterative reconstruction and recent self-supervised baselines.