Graph self-supervised learning based on frequency corruption
FC-GSSL 演算法透過逆向破壞圖資料中的低頻貢獻，迫使模型融合高低頻訊號，在 14 個資料集上全面提升圖神經網路效能。
- 傳統 GSSL 模型傾向平滑的全域低頻特徵，往往將具備局部偏好的高頻訊號誤判為雜訊並加以抑制。
- FC-GSSL 利用拉普拉斯矩陣計算節點與邊的低頻貢獻，藉由破壞低頻成分生成偏向高頻的破壞圖。
- 透過自編碼器重建低頻特徵與 InfoNCE 損失對齊，模型能有效區分有價值的多頻組合與隨機雜訊。
圖神經網路的自監督學習在處理包含超過 40,000 個節點的大型網路資料時，往往會面臨一個反直覺的困境：深度學習模型天生傾向保留平滑的全域低頻特徵，卻將包含豐富局部偏好的高頻訊號誤判為隨機雜訊並加以抑制。為了解決高頻訊號難以被模型吸收的結構性問題，近期一項名為 FC-GSSL（基於頻率破壞的圖自監督學習）的新演算法，透過逆向破壞圖結構中的低頻成分，強制模型學習高低頻訊號的協同融合，在 14 個公開資料集的測試中全面超越現有的基準模型。
圖自監督學習的頻譜偏好與高頻訊號的兩大瓶頸
現有的 GSSL（圖自監督學習） 主要分為兩大典範：透過最大化不同視圖中正樣本對互信息的對比學習（Contrastive Learning），以及藉由重建圖中被破壞區塊來學習結構細節的生成式學習（Generative Learning）。這些技術在推薦系統、社交網路分析與藥物發現等領域表現優異，能大幅緩解人工標註資料的瓶頸。然而，多數 GSSL 方法在訓練過程中過度偏好低頻訊號，忽略了能反映圖形局部偏好的高頻模式，限制了模型捕捉複雜結構特徵的能力。
近期雖有諸如 ChebyCF 或 GraphPAE 等研究嘗試引入頻譜濾波器（Spectral Filtering）或位置編碼（Positional Encodings）來強化對高頻訊號的敏感度，但在實際應用上仍遭遇兩大難題。首先，高頻訊號具備高度局部性、稀疏性且非平穩，這與現有深度學習依賴統計歸納學習（尋找全域穩定模式）的本質產生衝突，導致高頻資訊在訓練中被當作雜訊抹除。其次，過度依賴特定的高頻訊號會嚴重損害模型的泛化能力。單純將高低頻訊號進行簡單聚合，無法讓模型學會辨識哪些頻率組合是有效資訊，導致模型在訓練階段過度擬合局部細節。
以拉普拉斯矩陣量化低頻貢獻生成高頻偏誤圖
為了解決上述衝突，研究團隊提出 FC-GSSL 演算法，其核心思想是「從頻譜視角破壞圖資料」。團隊設計了一套基於拉普拉斯矩陣（Laplacian Matrix）特徵值與特徵向量的數學框架，用以量化節點與邊對圖結構的「低頻訊號貢獻度」。具體而言，團隊參考了 AUC（曲線下面積）的概念，將所有關注的頂部頻率分量進行加權總和，計算出每一條邊的低頻貢獻值。
在取得邊的低頻貢獻度後，模型會進一步將其聚合至相鄰的節點上，得出每個節點的低頻貢獻指標。FC-GSSL 利用這些量化指標作為基準，刻意對圖形進行資料破壞。有別於傳統隨機遮蔽節點或丟棄邊的做法，FC-GSSL 專門挑選低頻貢獻度高的節點與邊進行破壞。這個逆向操作會產出具有「高頻偏誤（High-frequency biased）」的破壞圖，為後續的自編碼器訓練準備了極具挑戰性的輸入資料。
結合數值與排序的多重採樣策略與圖結構破壞
為避免模型對單一破壞規則產生過度依賴，FC-GSSL 實作了多維度的採樣策略。第一種是「基於數值的採樣（Value-based Sampling）」，直接根據節點或邊的低頻貢獻數值建立多項式分佈，貢獻度越高的項目被選中破壞的機率就越大。第二種則是「基於排序的採樣（Rank-based Sampling）」，將貢獻度數值轉換為絕對排名索引後再進行抽樣，藉此消除極端數值帶來的偏差。
取得這兩種採樣集合後，團隊導入了 Jaccard 相似度係數的概念。模型會分別取這兩個集合的聯集與交集，藉此構造出涵蓋節點層級與邊層級的多樣化破壞圖。對於被選中的節點，模型會用一組可學習的向量替換其原始特徵（特徵遮蔽）；對於被選中的邊，則直接將其從圖結構中移除（邊緣丟棄）。這種多重交錯的破壞機制，確保了高頻訊號被保留的同時，每次輸入網路的拓樸結構都具備足夠的多樣性。
解碼重建節點特徵與 InfoNCE 損失的多視角對齊
在編碼與解碼階段，FC-GSSL 展現了其融合多頻率訊號的架構巧思。自編碼器（Autoencoder） 的編碼端採用注意力機制，將節點特徵矩陣與透過高斯 RBF 核函數轉換的相對位置矩陣進行訊息傳遞與融合。當高頻偏誤圖被轉換為節點表徵後，解碼器面臨的任務並非重建高頻細節，而是被要求還原原始的「低頻與全域特徵」以及原始的邊結構。
這種「輸入高頻偏誤、要求輸出低頻特徵」的訓練目標，強迫模型不能只當個特徵提取器，而必須學會理解高頻訊號如何轉換與映射回低頻表徵，進而掌握跨頻譜的協同關係。此外，為了進一步抑制雜訊干擾，FC-GSSL 引入了對比學習中的 InfoNCE 損失函數，對來自不同破壞策略的多個圖視角進行節點表徵對齊。透過最大化同一節點在不同破壞視圖中的相似度，迫使模型專注於提取真正具備語義不變性的多頻組合資訊。
arXiv與Penn94大型圖分類任務超越現有基準
為驗證架構的有效性，研究團隊在包含 BlogCatalog、Chameleon、Squirrel、Actor，以及節點數超過 40,000 的 arXiv-year 與 Penn94 等 6 個代表性異質圖上進行了節點分類任務測試。實驗比較了十多種當前主流的圖自監督學習模型，包含對比學習陣營的 MVGRL、CCA-SSG，生成式陣營的 GraphMAE，以及特別針對高頻訊號設計的 Sp2GCL 與 GraphPAE。
實驗數據證實，雖然注重高頻訊號的 Sp2GCL 和 GraphPAE 在多數資料集上優於傳統基準模型，證明了高頻資訊在捕捉局部拓樸結構上的價值；但 FC-GSSL 的表現更是全面超越了所有競爭對手。這顯示 FC-GSSL 透過破壞低頻以強制模型融合高低頻特徵的策略，不僅解決了高頻訊號利用率低下的痛點，其多視角對齊機制也成功克服了過度擬合局部特徵的泛化危機，為未來的圖資料探勘提供了全新的設計思路。
刻意破壞圖結構中穩定的低頻成分並非拋棄全域視野，而是強迫深度學習模型跨越統計歸納的舒適圈，將高頻局部偏好轉化為具備高泛化能力的拓樸表徵。