Radiomics for differentiating ruptured intracranial aneurysms: overview, methodological quality evaluation using METRICS and RQS, and feature transportability validation using independent multi-center dataset

View Original ↗
AI 導讀 academic AI 重要性 4/5

單中心訓練的動脈瘤破裂 AI 模型跨院 AUC 暴跌至 0.51,證實高階影像特徵難以泛化,僅基礎幾何形態具備高穩定性。

  • 系統性回顧 26 篇研究顯示方法學品質低落,平均 RQS 僅 9.7 分,且多數缺乏外部驗證與參數透明度。
  • MIRACLE 多中心外部測試揭露,15 組特徵集的 AUC 從訓練階段的 0.70 衰退至測試階段的 0.51-0.61。
  • 比較手動與自動分割,VoxelVolume 與 SurfaceArea 等形態學特徵的 ICC > 0.9,遠較高階紋理特徵具備臨床實用性。

在單一醫院訓練得再神準的腦動脈瘤破裂預測模型,換到別家醫院測試時,AUC 竟然會從 0.70 雪崩式掉到只有 0.51 這個近乎丟銅板的數字。我們常以為演算法能精準揪出高危險群,但這份涵蓋多中心的獨立驗證點醒了放射科:特徵的跨院穩定性,遠比單一資料夾裡的帳面準確率重要。

影像特徵在顱內動脈瘤預測的跨院挑戰

臨床上在判讀電腦斷層血管攝影(CTA)時,區分未破裂顱內動脈瘤(IAs)的潛在破裂風險一直是一大難題。傳統上我們依賴最大徑、不規則形狀或是子瘤(daughter sac)等肉眼可見的形態學特徵,但這些指標在預測微小動脈瘤何時破裂上往往力有未逮。近年來許多團隊導入 radiomics(從影像自動抽上千個量化特徵) 技術,試圖從血管壁的灰階分布中找出肉眼無法察覺的微觀變化。然而,這類研究在文獻上如雨後春筍般湧現,卻鮮少有模型真正走入日常打報告的工作流程。

根本原因在於,大多數已發表的文獻都侷限於單一醫學中心、使用同一廠牌掃描儀、甚至同一套重建演算法的封閉環境。當這些宣稱具備極高預測價值的模型被套用到其他醫院的影像時,往往會因為切面厚度、對比劑施打時機或管電壓的些微差異而完全失效。為了釐清這個現狀,研究團隊決定進行一場大規模的方法學體檢,同時從真實世界中調取多中心資料,來驗證這些曾被寄予厚望的影像特徵,究竟能不能經得起跨院區的考驗。

MIRACLE 五中心世代與 RQS 雙重檢驗

從 Methods 來看,研究團隊首先執行了系統性文獻回顧,在初步篩選的 252 篇探討動脈瘤破裂的相關論文中,最終納入 26 篇進行深度的方法學品質評估。為了確保評分客觀,他們採用了兩套標準:第一套是發展較早的 RQS(放射組學專用的嚴格品質評分表),總分為 36 分;第二套則是近年由歐洲醫學影像資訊學會背書的 METRICS(針對醫學影像特徵萃取流程的新型評分工具),以百分比呈現。

完成文獻評估後,團隊挑選出 15 篇提供了完整特徵清單的研究,將這些文獻中宣稱有效的特徵集,直接送進名為 MIRACLE Cohort 的獨立資料庫進行 transportability(模型或特徵搬到新資料集還能維持準度的能力) 測試。這個 MIRACLE 世代包含了來自 5 家不同醫學中心的動脈瘤案例,涵蓋了不同的 CTA 掃描參數與機型。更重要的是,為了模擬未來大量臨床應用的場景,團隊全面採用了自動化影像分割技術來圈選動脈瘤三維體積,藉此對比傳統文獻中極度耗時的純手工勾勒,並透過嚴謹的統計檢定來確認特徵的再現性。

Table 1 揭示的低落方法學品質與 9.7 分警訊

把焦點拉到 Results 的品質評估部分,Table 1 清楚臚列了這 26 篇研究在兩大評分系統下的具體表現,數字反映出現狀並不樂觀。整體而言,平均 RQS 僅有 9.7 分(標準差 5.2),也就是連滿分 36 分的三分之一都不到;而在 METRICS 系統下,中位數得分為 72.5%(四分位距 58.5%–76.2%)。即使是這批文獻中表現最頂尖的兩篇單獨文章,其最高 RQS 也僅止步於 18 分,最高 METRICS 則落在 84.6%。

進一步拆解 Table 1 的細項得分會發現,多數研究在「影像擷取參數的透明度」以及「外部驗證」這兩個維度失分最嚴重。高達八成的文章沒有詳細報告 CTA 的重建卷積核(reconstruction kernel)或是管電流調控細節,這導致後續研究者根本無法在自己的醫院複製相同的影像前處理條件。此外,多數模型缺乏針對多重假說檢定的統計校正,也鮮少提供開放原始碼或去識別化的原始影像,這種封閉式的研究作風大幅限制了這些技術向臨床轉化的可能性。

Table 1 方法學品質評估摘要
評分系統平均數 / 中位數最高得分滿分標準
RQS (Radiomics Quality Score)9.7 分 (SD 5.2)18 分36 分
METRICS72.5% (IQR 58.5-76.2%)84.6%100%

依據 RQS 與 METRICS 對 26 篇納入文獻進行評分

Figure 2 外部驗證 AUC 從 0.70 跌至 0.51 的現實

這篇論文最精華的發現,莫過於將文獻中吹捧的特徵集放到 MIRACLE 多中心世代進行實際測試的結果。若細看 Figure 2 畫出的接收者操作特徵曲線(ROC),在初步的內部訓練資料集中,這 15 組特徵集的曲線下面積(AUC)落在 0.59 到 0.70 之間,表現算中規中矩。然而,一旦將這些特徵集套用到完全獨立的外部測試資料集時,預測破裂狀態的 AUC 瞬間滑落到 0.51 到 0.61 的區間。

這個 0.51 的極端低值明確指出,某些在單一醫院利用特定機器參數找出的高階紋理特徵(如灰階共生矩陣 GLCM),其實只是過度擬合(overfitting)了該醫院特有的影像雜訊,而非真正捕捉到動脈瘤壁變薄或發炎的病理學特徵。當測試環境切換到別家醫院的 CTA 影像時,這些被奉為圭臬的特徵瞬間失去鑑別力。這強烈暗示我們,過去許多宣稱 AUC 高達 0.85 甚至 0.90 的單中心回溯性論文,其模型泛化能力被嚴重高估了。

訓練集與外部驗證集的 AUC 表現落差

15 組特徵集在 MIRACLE 多中心世代的驗證結果,顯示嚴重過度擬合

Table 3 形態學特徵的高穩定度與大於 0.9 的 ICC

雖然高階特徵的跨院表現令人失望,但並非所有參數都毫無用處。Table 3 針對不同特徵的穩定性進行了深入的次群組分析,特別是比較了「放射科醫師手工圈選」與「深度學習全自動分割」這兩種標註方式所萃取出的特徵差異。數據表明,高達 60%(9/15)的研究都共同使用了一個特定的幾何指標:original_shape_Elongation(原始形狀伸長率),顯示形狀不對稱性在各家醫院的共識度最高。

更值得注意的是,在 Table 3 的組內相關係數(ICC)檢定中,original_shape_VoxelVolume(體素體積)、MeshVolume(網格體積)以及 SurfaceArea(表面積)這三個一階形態學特徵展現了極致的強健性,它們的 ICC 全部大於 0.9。這代表無論是人工慢慢畫邊界,還是交給自動化程式快速切割,這幾個指標算出來的數值幾乎一樣。相對地,依賴像素亮度變化的紋理特徵,其 ICC 往往跌破 0.6,只要切割邊界稍微多包含了一點點周圍的腦脊髓液或鄰近骨骼,數值就會發生劇烈震盪。

Table 3 特徵萃取穩定度比較 (手動 vs 自動分割)
特徵類別代表性特徵名稱ICC 數值臨床建議
一階形態學original_shape_VoxelVolume> 0.9高信賴度
一階形態學SurfaceArea / MeshVolume> 0.9高信賴度
高階紋理特徵灰階共生矩陣 (GLCM) 相關< 0.6易受邊界雜訊干擾

形態學特徵展現高度跨標註方式的強健性

放射科日常 CTA 報告的適用邊界與未來指引

在 Discussion 階段,作者坦承了本研究的幾項限制。首先,MIRACLE 世代雖然是多中心,但仍屬於回溯性資料,無法完全排除那些因為已有破裂徵兆而優先被安排影像檢查的選擇性偏差。其次,目前所使用的自動化分割演算法,在面對極度扭曲的遠端大腦中動脈分岔處,或是伴隨嚴重鈣化及血管壁斑塊的複雜型動脈瘤時,仍可能產生切割誤差,進而影響後續的特徵運算。

對於每天在第一線看 CTA 的放射科醫師而言,這篇論文提供了非常務實的指引。當未來醫院採購了號稱具備 AI 預測動脈瘤破裂風險的軟體時,請優先確認該軟體依賴的是哪一類特徵。如果它主要透過精準量測表面積、體積變化率或伸長率等形態學特徵來給出警示,那這個風險分數的參考價值較高;但如果廠商宣稱其演算法依賴肉眼看不見的「深層紋理特徵」,在沒有經過貴院自家影像資料的大規模校正前,建議對其高風險預測保持保守態度,切勿直接作為安排緊急介入栓塞手術的唯一依據。

下次遇到演算法提示動脈瘤高破裂風險時,先去檢視它的體積與表面積等幾何數值,別輕易相信單純依賴灰階紋理的黑盒子模型。

Abstract

Objectives To assess the methodological quality of radiomics research for ruptured intracranial aneurysms (IAs) using the radiomics quality score (RQS) and METhodological radiomICs score (METRICS), and to evaluate the transportability of reported radiomics features using an independent multi-center dataset. Materials and methods We systematically reviewed radiomics articles for ruptured IAs classification. Included articles underwent a quality assessment via RQS and METRICS. Then, the identified radiomics feature sets were evaluated in the MIRACLE Cohort, which comprises IA cases from five centers with automated segmentation and feature extraction. The internal performance was assessed for each of the validated feature sets. Results After screening 252 studies, 26 were analyzed, yielding a mean RQS of 9.7 (SD, 5.2) and a median METRICS score of 72.5% (IQR, 58.5%–76.2%). Two individual articles reached a maximum RQS of 18 and a METRICS of 84.6%, respectively. Fifteen studies were selected for transportability evaluation. In the primary transportability analysis, the AUCs ranged from 0.59 to 0.70 in the training dataset, and from 0.51 to 0.61 in the external testing dataset. The original_shape_Elongation feature was the most frequently utilized feature (9/15). When comparing radiomics features derived from manual and automatic segmentations, original_shape_VoxelVolume, MeshVolume, and SurfaceArea showed the highest stability, all achieving an intraclass correlation coefficient (ICC) &gt; 0.9. Conclusions Radiomics studies for distinguishing ruptured IAs exhibit an evolving but heterogeneous methodology, with certain features demonstrating high stability but modest transportability. Methodological deficiencies remain, including limited external validation, suboptimal model generalizability, and insufficient adherence to open science. Future research should address these gaps to enhance study quality and clinical relevance. Trial registration MIRACLE Cohort, ChiCTR2400084601. Registered 21 May 2024, https://www.chictr.org.cn/showprojEN.html?proj=229047. Key Points Question To evaluate the methodological quality of radiomics research for IA rupture using RQS/METRICS and assess feature transportability using independent multi-center data. Findings Methodological heterogeneities persist despite field growth. Independent assessment reveals that most reported radiomics features demonstrate modest transportability, with performance dropping across different centers. Clinical relevance Addressing methodological gaps, specifically insufficient external validation and limited transparency, is essential to facilitate the reliable translation of radiomics from academic research into clinical applications for aneurysm management. Graphical Abstract