TRACER: Trace-Based Adaptive Cost-Efficient Routing for LLM Classification
TRACER 利用日誌訓練代理模型，接管 83% 意圖分類流量並省下八成 API 成本。
- 直接利用 LLM 推論日誌訓練代理模型，完全免除人工標註成本。
- 設定 Parity Gate 閾值，確保模型僅在一致性達標時接管流量。
- 產出五項解釋報告，清楚界定系統接管任務與委派 LLM 的決策邊界。
呼叫 LLM 進行分類會留下免費的標註日誌。開源系統 TRACER 利用這些紀錄訓練代理模型，在 77 類意圖分類測試中接管 83.2% 流量並省下 83% 成本，更在 150 類任務中達成完全替代。
利用 LLM 系統日誌啟動零成本標註飛輪
開發團隊越來越常使用大型語言模型（LLM）作為零樣本分類器，藉此省下建立人工標註資料集的龐大時間與預算。每一次呼叫 API 的過程，除了會產生計費紀錄，其實也伴隨留下了輸入與輸出的配對日誌。這些日誌構成了一個不斷增長的免費訓練集，直接為訓練輕量化替代方案鋪平了道路。
TRACER 系統奠基於 L2D（Learning-to-Defer：學習何時交由專家處理的機制）的設計理念，將簡單的分類輸入交由成本極低的代理模型處理，並把困難的案例轉交給作為專家的教師模型。有別於過去需要提前收集大量標註資料的傳統作法，此系統在初期將所有流量送往教師模型，隨後直接提取教師的回應作為標籤。
持續學習的飛輪效應在此過程中自然成形，隨著代理模型接管高信心度的流量，剩餘被轉交回 LLM 的困難案例會繼續產生新的訓練訊號。代理模型使用預先計算的 BGE-large-en-v1.5 文本嵌入，並在每次更新時從候選池（包含邏輯斯迴歸、決策樹、隨機森林等）中選出表現最佳的演算法，確保分類器能緊跟資料特徵的變化。
Parity Gate 確保代理模型上線的安全底線
部署機器學習模型時，最大的挑戰在於確認系統何時具備足夠的穩定性以切換至正式環境。為此引入了 Parity Gate 品質閘門機制，代理模型必須在未參與訓練的保留資料集上，與教師模型的預測一致性（TA）超越使用者定義的閾值 α。
判斷預測是否可靠的任務，交由一個獨立的二元接收器（Acceptor）執行，它會參考代理模型的最高機率、次高機率、機率差距以及常態化熵值等四項信心特徵。將這些指標綜合評估後，系統能比單純依賴機率閾值更精準地抓出不確定性，將兩難的查詢退回給作為教師的 Claude Sonnet 4.6。
閘門設計具備高度的保守性，一旦候選管線未能通過檢驗，系統會預設退回完全依賴教師模型的狀態。這種隨著時間推進的審查方式，允許系統在初期累積足夠的日誌後，再平滑地將流量轉移至代理模型，避免不成熟的模型貿然上線。
Banking77 與 CLINC150 展現的降本潛力
系統的成本壓縮效益在多分類意圖基準測試中得到具體驗證。在涵蓋 150 種意圖（加上噪聲共計 157 類）的 CLINC150 測試中，代理模型在所有 α 閾值設定下均達成了 100% 的流量接管。這意味著單靠文本嵌入搭配傳統機器學習，就能完全取代昂貴的 LLM 呼叫，徹底消除後續的推論成本。
針對更具挑戰性的 Banking77 基準測試，系統展現了覆蓋率與品質之間的動態權衡。當品質門檻設定在 α=0.80 時，代理模型同樣能接管所有流量；而當門檻拉高至嚴苛的 α=0.95 時，接收器會選擇性地保留 83.2% 的流量，並將剩餘 16.8% 的困難查詢退回給教師。
財務上的節約非常可觀，以每日處理一萬筆查詢計算，原本依賴 Sonnet 4.6 需耗費約 $26 美元。在維持 95% 教師一致性的高標準下，系統將每日開銷大幅壓縮至 $4.40 美元，相當於降低了 83% 的經常性支出。
面對 MNLI 推理任務啟動的防禦性拒絕機制
除了驗證成功上線的情境，研究團隊也運用了自然語言推理（NLI）基準測試 MNLI 來檢驗系統的安全防護邊界。在這項包含蘊涵、中立與矛盾三個類別的任務中，即使提供了高達一萬筆的黃金標準標註日誌，系統依舊在所有的閾值設定下啟動了防禦機制。
所有的候選模型均無法通過品質檢驗，導致覆蓋率維持在 0%。這並非系統故障，而是正確且預期中的拒絕行為。由於文本嵌入技術難以捕捉前提與假設之間的複合邏輯關係，強行啟用代理模型將導致嚴重的分類錯誤。
零覆蓋率的結果證明了閘門機制的必要性，它能有效攔截表徵能力不足的次級模型。對於這類需要複雜推理的任務，未來可能需要將累積的日誌用於微調編碼器本身，而品質閘門將在此過程中持續扮演最後一道防線。
五大可解釋產出物勾勒代理模型的路由邊界
開發團隊為此系統設計了五種解釋性產出物，有別於過去只針對單一預測進行解釋的作法，產出物更關注於「路由邊界」的整體輪廓。切片摘要能按照類別或輸入長度，顯示代理模型的接管比例與教師一致性，讓操作者無需逐一檢查預測結果就能掌握流量分布。
代表性範例卡片則挑選最靠近各分群中心的輸入語句，協助工程師建立對接管與轉交流量的直觀認知。時序變化與分歧卡片進一步幫助追蹤每次模型重適配後的覆蓋率波動，並揪出代理模型在保留資料集上的殘留盲點。
對比性邊界對會抓出標籤相同、路由結果卻相反的語句。例如在 Banking77 的測試中，明確且具體的「退款未顯示在帳戶」會被代理系統高分接管；而措辭模糊、容易與其他意圖混淆的「為何退貨未結清」則會獲得低分，並正確地轉交給專家教師處理，讓決策依據變得透明可查。
將 LLM 視為標註引擎，利用生產日誌訓練代理模型，即可在維持品質下大幅削減推論成本。