Physically-Induced Atmospheric Adversarial Perturbations: Enhancing Transferability and Robustness in Remote Sensing Image Classification

Weiwei Zhuang, Wangze Xie, Qi Zhang, Xia Du, Zihan Lin, et al.

View Original ↗
AI 導讀 technology AI 重要性 4/5

用柏林雜訊生成物理對抗霧氣,FogFool達成99.96%遙感影像攻擊成功率。

  • 採用柏林雜訊取代像素雜訊,生成具備物理真實感的對抗霧氣。
  • 將對抗變數限制於結構化霧氣遮罩,成功鎖定模型共享的中低頻特徵。
  • 在NWPU資料集達成83%黑箱轉移率,並揭露特定地形的選擇性誤判。

遙感影像分類模型正面臨一種難以察覺的物理性威脅。最新研究提出名為 FogFool 的大氣對抗攻擊框架,放棄傳統的像素級雜訊,改用 Perlin 雜訊生成極具真實感的物理霧氣。在 NWPU 資料集上,這項技術不僅達成 99.96% 的無目標攻擊成功率,其黑箱轉移攻擊成功率更突破 83.74%

傳統數位雜訊的侷限與FogFool的柏林雜訊擬真

遙感影像廣泛應用於土地覆蓋測繪、城市規劃與災難監控。儘管深度學習模型透過自動特徵學習大幅提升了分類效能,但其對抗性攻擊(Adversarial attacks)的脆弱性始終是個隱患。多數現有攻擊依賴於直接的像素級高頻擾動,這類數位雜訊不僅在真實世界的影像處理中容易失效,也無法反映遙感影像特有的物理環境。為了突破此限制,研究團隊開發了 FogFool 框架,透過物理擬真的大氣擾動來增強攻擊的跨模型轉移性。

FogFool 利用 Perlin noise(柏林雜訊,一種常用於生成連續自然紋理的梯度雜訊) 建構基礎。系統將影像劃分為網格,賦予隨機梯度向量,並採用五次平滑函數(Quintic smoothing function)消除邊界偽影。為了捕捉真實大氣霧氣的層次感,演算法設定了 6 個八度音階(Octaves),透過分數布朗運動(FBM)將不同頻率與振幅的雜訊融合,產生無人造網格感且具備多尺度特徵的物理霧氣分布。

梯度引導的霧氣最佳化與中低頻特徵的對抗攻擊

在生成逼真的初始霧氣後,FogFool 捨棄了 FGSM 或 PGD 等傳統攻擊直接修改原始像素的作法,將擾動變數嚴格限制在結構化的「霧氣遮罩(Fog mask)」內。系統透過將平滑化後的霧氣遮罩、預設的白色彩基底與原始遙感影像進行線性融合,生成帶有大氣干擾的對抗樣本。

隨後,演算法計算分類模型對於該影像的損失梯度,並採用帶有動量(Momentum)的迭代梯度符號策略來更新霧氣參數。實驗將迭代次數設定為 20 次,搭配步長 1/255 與高斯平滑濾波器,在確保空間連續性的同時最大化攻擊效力。這種物理性引導的作法具有極高的戰略價值:藉由將擾動從孤立的像素點轉移到空間連貫的大氣結構上,FogFool 成功鎖定了各種深度學習網路架構所共享的「中低頻特徵」,為後續強大的黑箱轉移攻擊奠定了基礎。

NWPU資料集實測:8款主流模型達99%攻擊成功率

為了全面評估破壞力,團隊在 UCM(UC Merced Land Use)NWPU-RESISC45 兩個大型遙感場景基準資料集上展開實測,目標涵蓋 AlexNet、ResNet50、DenseNet121 等 8 款業界主流卷積神經網路。在白箱無目標攻擊設定下,FogFool 在 UCM 資料集達到平均 96.79% 的攻擊成功率(ASR);在 NWPU 資料集上,平均 ASR 高達 99.96%,其中包含 AutoAttack 在內的 6 款模型直接被攻破至 100% 誤判。

在難度更高的目標攻擊(Targeted attack)測試中,FogFool 同樣維持極高水準,在兩個資料集分別取得 97.67%99.93% 的成功率。研究團隊也進行了嚴格的參數權衡分析,發現當霧氣融合係數設定在 0.6 時,既能讓原始模型保留超過 90% 的基準準確率(代表視覺上不破壞語意),又具備足夠的擾動空間來執行對抗最佳化,完美平衡了視覺擬真度與攻擊致命性。

突破83%黑箱轉移率:遙感影像地貌的選擇性誤判

由於真實應用環境多屬於無法得知模型架構的黑箱情境,跨模型的轉移攻擊能力成為衡量威脅的關鍵指標。實驗表明,當使用 ResNet50 等三款替代模型生成樣本時,FogFool 在 NWPU 資料集上對抗五個未知模型的平均轉移攻擊成功率(TASR)高達 83.74%,大幅超越現有的集成式梯度演算法。

透過類別活化圖(CAM)與混淆矩陣的交叉分析,研究揭露了這類大氣擾動會引發模型注意力的全域性偏移。值得注意的是,這種誤判具有強烈的「類別選擇性」與幾何偏好。例如,ResNet50 傾向將受攻擊樣本集中誤判為「高爾夫球場」,而 DenseNet201 則偏向誤判為「河流」;此外,視覺相似度極高的「叢林」與「森林」,其高維特徵邊界更容易被物理霧氣給推倒。正是因為 FogFool 將對抗資訊深度嵌入全域的大氣結構中,使其在面對 JPEG 壓縮與影像濾波等常見前處理防禦時,依然展現出極強的存活能力。

物理大氣干擾不僅突破黑箱防禦,更揭露遙感模型對自然中低頻結構特徵的深層脆弱性。

Abstract

Adversarial attacks pose a severe threat to the reliability of deep learning models in remote sensing (RS) image classification. Most existing methods rely on direct pixel-wise perturbations, failing to exploit the inherent atmospheric characteristics of RS imagery or survive real-world image degradations. In this paper, we propose FogFool, a physically plausible adversarial framework that generates fog-based perturbations by iteratively optimizing atmospheric patterns based on Perlin noise. By modeling fog formations with natural, irregular structures, FogFool generates adversarial examples that are not only visually consistent with authentic RS scenes but also deceptive. By leveraging the spatial coherence and mid-to-low-frequency nature of atmospheric phenomena, FogFool embeds adversarial information into structural features shared across diverse architectures. Extensive experiments on two benchmark RS datasets demonstrate that FogFool achieves superior performance: not only does it exceed in white-box settings, but also exhibits exceptional black-box transferability (reaching 83.74% TASR) and robustness against common preprocessing-based defenses such as JPEG compression and filtering. Detailed analyses, including confusion matrices and Class Activation Map (CAM) visualizations, reveal that our atmospheric-driven perturbations induce a universal shift in model attention. These results indicate that FogFool represents a practical, stealthy, and highly persistent threat to RS classification systems, providing a robust benchmark for evaluating model reliability in complex environments.