Beyond Literal Summarization: Redefining Hallucination for Medical SOAP Note Evaluation
導入推論感知評估框架，將醫療 AI 筆記的幻覺率從 35.2% 精準修正至 9.1%。
- 傳統的字面重合度評估，會將合理的醫學推論誤判為 AI 幻覺。
- 導入醫學知識庫與思維鏈裁判，可消除過度字面評估的假陽性。
- 正確的評估標準能防止微調策略壓抑模型必要的臨床推理能力。
醫學文件自動化面臨嚴重評估誤區，當前 AI 審查機制將高達 35.2% 的合理臨床推論標記為「幻覺」。Augnito Research 最新發布的研究指出，若僅用字面比對來評估大語言模型生成的 SOAP 病歷筆記，會嚴重懲罰模型必備的醫學推斷能力。透過導入醫學知識檢索與推論感知框架，這項被高估的幻覺率大幅下降至 9.1%，揭示了過往評估機制的重大盲點。
醫療 SOAP 筆記生成超越傳統文字摘要任務
將醫生與病患的對話轉化為標準的 SOAP 筆記（涵蓋主觀感受、客觀發現、評估與計畫），經常被視為一種單純的摘要任務。然而，醫學文件本質上是高度專業的臨床轉譯過程。傳統的文本摘要強調節錄與改寫，而醫療紀錄則需要將口語化的病患描述標準化為醫學術語，並根據不完整的資訊進行推測與重組。
當病患描述「飯後胃部灼熱、晚上痛醒且連續六個月服用布洛芬」時，即便醫生在對話中從未明確說出「消化性潰瘍」或「胃食道逆流」，將這些診斷列入評估項目是標準且必要的醫療程序。在臨床實務中，醫師不會單純像錄音機一樣轉錄對話，而是進行解釋、綜合與推理。
然而，當前許多用來評估模型表現的工具，依然採用基於字面重合度（Lexical overlap）或嚴格文本溯源的標準。這種將缺乏明確文本證據等同於內容無效的傾向，被研究團隊稱為過度字面評估偏差（Over-literal evaluation bias）。這種偏差會導致評估系統在面對醫療推論時採取過度保守的評判，進而大幅膨脹模型的幻覺率，阻礙人工智慧在醫療體系中的實際部署。
劃分 5 個層級定義臨床聲明與醫療推論邊界
為了解決過度字面評估的問題，研究團隊提出了一套基於資訊來源與推論深度的五層級分類架構。第一層級為直接在對話中陳述的事實。第二層級則是同義詞或醫學術語的轉換，例如將病患口中的「爬樓梯會喘」轉換為專業的「勞動性呼吸困難」。
爭議最大之處發生在第三與第四層級之間的分界。第三層級屬於合理的臨床推斷，這代表模型能基於對話中的症狀群集或病史，推導出合理的鑑別診斷或符合治療指引的處置計畫。第四層級則是毫無根據的外部幻覺，例如憑空捏造病患正在服用某種未曾提及的藥物。第五層級則是直接與對話內容矛盾的錯誤資訊。
傳統的幻覺檢測機制經常將第三與第四層級混為一談。如果 AI 模型因為進行了第三層級的合理醫療推論而受到嚴厲懲罰，未來的微調或提示策略可能會產生過度校正風險。這會壓抑模型進行醫療推理的能力，最終產出雖然在字面上絕對「忠於逐字稿」，但缺乏臨床完整性、甚至無法提供後續醫療指導的無效病歷。
導入 SNOMED CT 知識庫的推論感知評估框架
為建構更符合醫療現實的評估標準，研究團隊設計了兩階段的 LLM as Judge（大語言模型作為裁判）評估機制。在第一階段的「無推論感知」設定下，評估模型被指示嚴格核對每一項聲明，只要未明確出現在逐字稿中就標記為幻覺。這導致系統系統性地將鑑別診斷與常規術語視為錯誤。
第二階段則導入了「推論感知」審查，結合重新設計的提示詞與檢索增強知識層。針對每一項生成的聲明，系統會從 SNOMED CT（涵蓋廣泛概念關係的臨床術語本體）與 ICD-10（國際疾病分類）等開源醫學知識庫中擷取相關條目，作為裁判模型的補充上下文。
這個機制強制執行一項嚴格的同義詞規則：所有學名藥與商品名在任何情況下皆視為等效。此外，裁判模型必須進行五步驟的思維鏈推理，並跨越 SOAP 的四個區塊交叉驗證。例如，模型必須能將主觀感受區塊提到的「盤尼西林過敏」，與計畫區塊中的「非盤尼西林幽門桿菌療法」連結。只有在既無法找到同義詞，也無法從臨床症狀中合理推斷，或是涉及具體劑量捏造與矛盾時，系統才會動用「幻覺」這個最終裁決。
幻覺率從 35.2% 降至 9.1% 的數據實證
團隊針對 100 份涵蓋心臟科、皮膚科、內分泌科等不同專科的真實醫病對話逐字稿進行測試，結果顯示評估機制的改變帶來了顯著的數據位移。在第一階段的字面審查框架下，模型的平均幻覺率飆升至 35.2%，幾乎是人類專家標註基準 10.4% 的三倍。
當切換至具備知識庫檢索與推論感知的第二階段框架後，幻覺率大幅下降至 9.1%，成功收斂至與人類專家的正常個體差異範圍內。這項實證證明了先前高昂的幻覺率，主要來自於評估設計的缺陷，而非真正的模型錯誤。
進一步分析第一階段的假陽性誤判，主要集中在三大模式：診斷推斷（如因心口灼熱推斷出胃食道逆流）、術語翻譯（如將「吃完飯會痛」寫作「餐後疼痛」），以及反映標準照護指引的處置（如針對糖尿病典型症狀安排糖化血色素檢查）。保留下來的真正幻覺，僅剩捏造的過往病史或無中生有的藥物劑量。這顯示未來的臨床語言處理評估標準，必須具備區分致命捏造與必要推論的能力，才能準確衡量人工智慧的真實價值。
將字面證據等同於事實，會扼殺 AI 的臨床推斷能力；醫療模型評估必須升級至推論感知層級。