Independent bone-level diagnostic accuracy study of an AI tool for detecting appendicular skeletal fractures on radiographs.
骨折敏感度高達 97% 的外傷常規報告，若直接用於 AI 訓練，其骨質流失高達 84% 的偽陰性將毒害演算法的精準度。
- 外傷 X 光常規報告對骨折與脫位具備 97% 與 87% 的極高敏感度，可直接轉換為 AI 訓練用的標籤。
- 次要發現如骨質流失與半脫位，在常規報告中敏感度暴跌至 30% 與 44%，反映了急診情境下的選擇性忽略。
- 院區會議文化造成特異度劇烈波動，合併多中心病歷資料訓練模型時，必須針對退化性病灶重新進行雙盲閱片。
常規外傷 X 光報告的骨質流失敏感度僅 30%，若直接拿去訓練 AI 將引發嚴重資訊偏誤。這份研究精準拆解了臨床報告的真實數據，揭示骨折診斷高達 97% 的敏感度背後，哪些次要發現是演算法不能依賴的毒藥。
618 筆外傷 X 光檢驗：臨床報告對決雙盲閱片
訓練醫療 AI（人工智慧，讓電腦模擬人類判讀影像）需要海量且標註精準的影像資料。而在所有標註來源中，專門為研究設計的獨立閱片被公認為黃金標準，但這不僅耗時且成本極高。因此，許多開發團隊退而求其次，直接抓取電子病歷中的 CRR（Clinical radiologic report，常規臨床放射報告）作為 AI 訓練的標籤。然而，這種做法在放射科實務中充滿隱患。因為常規報告的產出過程受到許多臨床因素干擾，如果報告不夠完整或診斷精準度不足，直接餵給 AI 就會產生資訊偏誤。這項來自丹麥 Bispebjerg 與 Herlev 兩家大學附設醫院的研究，正是為了解決這個迫切的實務難題。
研究團隊回溯性收集了 2023 年 1 月間，因為外傷被送往急診並安排 X 光檢查的連續病患，總計納入 618 筆影像。受試者年齡中位數為 52 歲（IQR 24 至 76 歲），其中 57%（351 位）為女性，骨折的整體盛行率為 36%。為了確立最嚴謹的參考標準，團隊請來四位接受過兩年外傷影像判讀專科訓練的資深放射師（具備 4 到 11 年資歷，且過去統合分析證實其外傷判讀準確率等同於主治醫師）進行獨立雙盲閱片。每位專家享有兩整天的充裕時間，並可調閱過去病歷、急診照會單與高達 15 個月的後續追蹤影像。若有分歧，再由擁有 20 年經驗的肌肉骨骼放射科資深主治醫師進行最終裁決。
相對於黃金標準，本研究的待檢驗指標就是那 618 份在日常臨床會議後正式歸檔的 CRR。在丹麥的流程中，這些影像會先經過急診醫師、放射師、住院醫師看過，最後與資深骨科醫師在臨床會議上討論後定案。研究者將報告內容對應到 REDCap（電子資料收集應用程式）中，嚴格檢視是否明確記載了八種外傷 X 光常見的發現：骨折、舊骨折、脫位、半脫位、關節積液、骨病變、退化性關節病變與骨質流失。藉由對比常規報告與黃金標準，團隊精算出各項診斷的敏感度、特異度與預測值。
Table 2 數據：骨折 97% 敏感度與脫位診斷
把焦點轉向研究的核心數據，Table 2 與 Figure 3 將常規報告的診斷準確度依照表現優劣，明確劃分為三個梯隊。對於急診外傷最關鍵的診斷，CRR 展現了極高水準的可靠性。其中，骨折（Fracture）的敏感度高達 97%（95% CI 落在 94% 到 99%），225 例真實存在的骨折中成功抓出 219 例；其陽性預測值（PPV）亦達 95%（95% CI 92% 到 98%）。表現居次的是脫位（Luxation），敏感度達到 87%（95% CI 69% 到 96%），特異度與陽性預測值更是完美的雙雙達到 100%。這意味著只要常規報告寫了脫位，就絕對是脫位，幾乎沒有偽陽性。
然而，當我們往下看到中等準確度的第二梯隊，數據便出現顯著衰退。退化性關節病變（Degenerative disease）的敏感度降至 67%（95% CI 53% 到 78%），60 例中僅抓出 40 例。關節積液（Effusion）的敏感度同樣為 67%（95% CI 46% 到 83%），舊骨折（Old fracture）的敏感度則落在 64%（95% CI 48% 到 78%）。在這組診斷中，PPV 大致落在 58% 到 69% 之間。這代表常規報告雖然能大略反映出病患群體中的盛行率趨勢，但如果研究者想利用 CRR 作為單一病患是否患有退化性關節炎的黃金標準，將會面臨三成以上的偽陰性風險，這對演算法的像素級訓練來說是不夠穩定的。
最不適合用來訓練 AI 的，是被歸類在極低準確度梯隊的次要發現。半脫位（Subluxation）的敏感度慘跌至 44%（95% CI 14% 到 79%）。更嚴重的是骨質流失（Halisteresis），敏感度只剩下 30%（95% CI 13% 到 53%），而且特異度 94% 看似尚可，其 PPV 卻低到只有 16%（95% CI 7% 到 31%），意味著常規報告提到骨質流失的紀錄有極高比例無法被雙盲閱片確認。至於骨病變（Bone lesion）因為整體樣本中僅有 4 例，敏感度 25%（95% CI 1% 到 81%），缺乏統計上的穩定意義。從這個梯隊可以明顯看出，臨床醫師在撰寫外傷報告時，對於非急症或缺乏立即處置價值的邊緣發現，往往選擇性忽略。
| 可靠度梯隊 | 診斷項目 | 敏感度 (95% CI) | 陽性預測值 PPV |
|---|---|---|---|
| 高準度 (適合 AI) | 骨折 (Fracture) | 97% [94-99%] | 95% |
| 高準度 (適合 AI) | 脫位 (Luxation) | 87% [69-96%] | 100% |
| 中準度 (須謹慎) | 退化性病變 | 67% [53-78%] | 60% |
| 中準度 (須謹慎) | 關節積液 | 67% [46-83%] | 58% |
| 極低準度 (禁用) | 半脫位 | 44% [14-79%] | 57% |
| 極低準度 (禁用) | 骨質流失 | 30% [13-53%] | 16% |
骨折與脫位高度可靠，次要發現不適合做為標註來源
Figure 3 的次群組陷阱：半脫位與骨病變
要評估這些低敏感度的發現究竟是報告品質不佳，還是影像本身就難以判斷，必須細看 Table 4 呈現的閱片者間一致性。團隊計算了兩位黃金標準閱片者在獨立盲閱階段的 Cohen’s kappa（評估兩人評分一致性的統計模型），發現其數值高低幾乎與 CRR 的敏感度完全正相關。骨折的盛行率高達 36%，兩位專家的意見分歧率僅有 4%，其 Kappa 值衝到了極高的 0.92（95% CI 0.89 到 0.95）。這證實了對於明確且具臨床重要性的病灶，專家的標準高度一致，常規報告自然也能準確命中。
相較之下，那些常規報告經常漏抓的項目，專家自己也吵成一團。以關節積液、退化性關節病變與舊骨折為例，其 Kappa 值落在 0.53 到 0.60 之間，屬於中等一致性。但最值得放射科醫師警惕的是 Kappa 悖論。在極低盛行率的條件下，傳統 Kappa 值會產生失真的狀況。以骨病變為例，其 Kappa 值竟是微不足道的 -0.01，但專家實質上的分歧率其實只有 2%，這是因為極端盛行率導致統計指標失準。為了看清全貌，我們必須將分歧率與邊際盛行率一併解讀。
Table 4 的 Kappa 悖論與 12% 意見分歧
骨質流失（Halisteresis）正是這項分析中最大的地雷。它的意見分歧率高達 12%，位居所有八項診斷之冠，而其 Kappa 值僅有 0.33。半脫位的 Kappa 值也只有 0.35。這證明了對於骨質流失這類缺乏嚴格客觀量尺、易受 X 光穿透條件與擺位影響的項目，不僅臨床醫師在常規報告中不愛提，連兩位不受時間壓力限制的專屬閱片者都無法達成共識。
這充分解釋了為何這類標籤絕對不能作為 AI 的訓練集，因為連提供正確答案的黃金專家本身都充滿了不確定性。如果強行抓取文字報告中的「疑似骨質疏鬆」去訓練影像切割或分類模型，AI 只會學到充滿雜訊且極度主觀的特徵，導致模型在不同醫院間的泛化能力徹底崩潰。
| 診斷項目 | Cohen's Kappa | 專家意見分歧率 | 臨床報告敏感度 |
|---|---|---|---|
| 骨折 | 0.92 (極高) | 4% | 97% |
| 脫位 | 0.83 (高) | 1% | 87% |
| 關節積液 | 0.60 (中) | 5% | 67% |
| 半脫位 | 0.35 (低) | 2% | 44% |
| 骨質流失 | 0.33 (低) | 12% (最高) | 30% |
| 骨病變 | -0.01 (悖論失真) | 2% | 25% |
盛行率極端的病灶容易引發 Kappa 值失真
Table 3 跨院區差異 p < 0.001 與實務邊界
除了各項病灶本身的判讀難度，各家醫院的次文化與臨床會議流程，也悄悄影響著報告的組成。Table 3 深入剖析了 Herlev 與 Bispebjerg 兩家醫院的數據對比。對於最核心的骨折診斷，兩家醫院展現出高度的同質性，敏感度差異無統計學意義（p = 0.91），特異度亦然（p = 0.76）。這代表在針對主要任務時，不同院區的臨床常規能夠維持一致的高標準。
然而，當我們檢視次要發現時，院區間的特異度出現了劇烈的波動。在骨質流失這項指標上，Herlev 醫院的特異度高達 99%（95% CI 97% 到 99%），但 Bispebjerg 醫院卻顯著下降至 84%（95% CI 78% 到 89%），其 p 值小於 0.001。類似的現象也發生在退化性關節病變，Herlev 為 99%，Bispebjerg 為 87%，p 值同樣小於 0.001。就連脫位的敏感度，Herlev 抓到了完美的 100%，Bispebjerg 卻只有 67%（p = 0.01）。
Figure 5 展示了數個經典的分歧案例，例如一位 80 多歲髖部疼痛的病患，因無法配合擺位導致 X 光品質極差，閱片專家對於是否存在骨質流失各執一詞。又或者針對一位骨折的病患，報告詳盡描述了移位狀況，卻對明顯可見的退化性邊緣骨刺隻字未提。這強烈暗示了感知錯誤中的滿足搜尋。如果在不知情的情況下合併兩家醫院的病歷庫去訓練模型，這種盛行率與標註標準的巨大落差，將使演算法學到錯誤的權重。
非核心診斷深受不同醫院判讀文化與會議流程干擾
研究限制與放射科導入 AI 標註的實務建議
從臨床應用的視角來看，這篇文獻明確界定了常規放射報告的可用邊界。作者坦承本研究存在幾項限制。首先，由於許多診斷的發生率極低，導致統計功效受限，信賴區間過度寬廣。其次，黃金標準的專家在閱片時可以參考原有的 CRR，這可能導致他們在潛意識中被常規報告引導，進而高估了真實的準確度。最後，本研究的醫院配備了嚴謹的多重覆核機制，其結論不見得能無縫套用到人力緊繃、僅靠單一值班醫師發報告的地區醫院。
對於正準備自建資料庫或評估商業 AI 產品的放射科醫師而言，我們不應再籠統地詢問「這份病歷資料能不能用」，而是要根據目標病灶進行分流。如果專案目標是偵測急性骨折或明顯脫位，直接使用自然語言處理去萃取既有報告轉成結構化標籤，是一條成本極低且高度準確的捷徑。但若想開發一套能夠順便篩檢出骨質疏鬆或退化性關節炎的模型，必須捨棄病歷文字，重新編列預算聘請專科醫師逐張重看。
在產品落地前，要求開發商出具針對退化性與骨質流失的獨立標註準確率將是把關重點。若不區分病灶屬性，盲目依賴大數據，只會訓練出一個跟著臨床偏見一起忽略次要發現的笨拙模型。
訓練骨折 AI 請大膽放手交給既有病歷報告萃取；若要抓骨質疏鬆或關節退化，請親自打開 PACS 重新標註！