A Q-learning-based QoS-aware multipath routing protocol in IoMT-based wireless body area network

針對醫療物聯網中的無線體感網路，最新的 QQMR 路由協定在節點密度變化時，成功將端到端延遲大幅降低 34.79%，並提升 5.45% 的封包傳遞率。這套架構透過 Q-learning（Q學習，一種強化學習演算法）與動態分群技術，將醫療數據按緊急程度拆分處理，解決了穿戴式感測器因人體移動導致的拓撲不穩定與能源耗盡問題，為大規模智慧醫療系統的底層通訊建立了更穩健的標準。

醫療物聯網 WBAN 網路的拓撲變動與通訊瓶頸

醫療物聯網（IoMT）透過互聯的醫療設備與系統，實現遠端監控與醫療資源的最佳化配置。在這個架構中，無線體感網路（WBAN，由穿戴式或植入式感測器組成的微型網路）扮演著收集心率、血壓、血氧與腦電圖（EEG）等即時生理數據的關鍵角色。這些數據會先傳送至病床旁的本機處理單元（LPU），再透過多跳（multi-hop）路由傳輸至醫院的資料中心。

然而，維持 WBAN 的服務品質（QoS，包含延遲、吞吐量與能源效率等網路傳輸指標）充滿挑戰。首先，感測器節點的電池容量極度受限，且人體的日常移動與姿勢變換會頻繁改變網路拓撲，導致連線中斷與封包遺失。在大規模醫療院所中，跨越多重 WBAN 網路的通訊，更會因為傳輸距離拉長而產生過高的端到端（E2E）延遲與路由開銷（Routing Overhead）。

為了精確估算能源消耗，QQMR 架構將網路模型定義為有向圖 $G=(V,L)$，並結合定位系統監控節點的剩餘電量。在能源消耗計算上，傳送端發送封包的耗能涵蓋了啟動電子電路（$E_{elec}$）與訊號放大器（$\varepsilon_{amp}$）的功率，且耗能會隨著節點間的歐幾里得距離呈指數級增加。因此，如何在節點電量耗盡前找出最佳且穩定的傳輸路徑，成為路由協定設計的核心難題。

針對緊急與錯誤敏感封包的 QoS 三級流量分類

傳統路由演算法往往將所有數據視為同一類型，無法適應醫療場景中多樣化的資料需求。QQMR 的首要創新，在於將感測器收集到的資料封包依據 QoS 需求劃分為三個層級，並透過封包標頭（Header）中的特定欄位進行標識，確保網路資源能被優先分配給關鍵任務。

第一類是緊急封包（Emergency packets），例如突發的心臟異常數據，這類資料對延遲極度敏感，必須以最低延遲送達目的地；第二類是錯誤敏感封包（Error-sensitive packets），這類資料容許些許延遲，但要求極低的封包遺失率與錯誤率，以確保診斷數據的完整性；第三類則是一般封包（Normal packets），如例行性的體溫或血壓監測，其傳輸策略會將焦點放在最大化能源效率，以延長網路的整體壽命。

為了有效管理這些異質流量，QQMR 採用了自適應多層佇列模型（Adaptive multi-level queuing model）。每個節點的緩衝區會根據上述三類封包建立獨立的佇列。系統會根據當下佇列的佔用體積、資料抵達率以及剩餘緩衝空間，動態調整每個佇列的容量。同時，封包結構中也內建了循環冗餘校驗（CRC）欄位，以便在接收端精準偵測傳輸過程中可能發生的錯誤位元。

結合加權模糊 C-means 壓縮強化學習狀態空間

在動態環境中，強化學習（RL）的 Q-learning 演算法是不需要預先建立環境模型的最佳路由解方。節點（代理人）會透過與網路環境互動，更新 Q-table 中的狀態-動作數值，逐步學會選擇能獲得最大長期獎勵的路徑。然而，在 WBAN 網路中，若將所有節點與連線狀態都納入計算，龐大的狀態空間（State space）會導致收斂速度過慢，無法即時應對拓撲變化。

為了解決維度災難，QQMR 導入了自適應加權模糊 C-means 演算法（一種允許資料點同時屬於多個群集的分群技術）。該演算法會將龐大的學習狀態空間劃分為對應不同 QoS 特徵的子空間群集。在分群過程中，演算法會動態調整特徵權重，例如延遲時間、錯誤率、剩餘電量與緩衝區容量，使其能真實反映當下的網路物理條件。

透過這種 QoS 導向的分群機制，每個群集都代表了一種特定的通訊需求。節點可以擁有對不同群集的多重隸屬度（Membership degrees），這些數值會隨著定期的 Hello 訊息在相鄰節點間廣播交換。這項設計大幅壓縮了 Q-learning 演算法需要探索的狀態數量，不僅加快了收斂速度，也降低了節點的運算負荷。

建立三組獨立 Q-table 與 QoS 導向的備援路由

有別於多數 Q-learning 路由方法僅依賴單一學習策略，QQMR 針對分類好的三種醫療封包，訓練了三套完全獨立且專業化的學習策略。也就是說，系統內部同時維護了三張不同的 Q-table。

緊急封包的策略獎勵函數會重度懲罰傳輸延遲；錯誤敏感封包的學習策略專注於尋找連線品質最穩定、錯誤率最低的節點；而一般封包的策略則會優先選擇剩餘電量充足且傳輸距離較短的路徑。這種專項專練的機制，避免了不同 QoS 需求之間的互相干擾，讓每一次的路由決策都能精準對位。

此外，QQMR 在處理備援路徑（Backup path）的選擇上展現了極高的容錯彈性。當首選路徑失效時，系統並不會盲目選擇 Q-table 中數值第二高的路徑。相反地，它會從備選路徑中，挑選其 QoS 特徵（如延遲或錯誤率表現）與主學習策略相似度最高的路線。這項機制確保了即便網路拓撲突變，備援路徑依然能嚴格遵守該封包原始的 QoS 規範。

延遲降低34.79%與耗能減少19%的基準測試結果

為了驗證架構的可行性，研究團隊將 QQMR 與現有的三種先進路由協定（QQAR、EQRSRL、QPRR）進行了廣泛的效能對比。測試情境包含了節點密度變化以及封包發送速率變化等多重動態變數。

實測數據顯示，當網路中的節點密度發生變化時，QQMR 展現了卓越的適應力，其封包傳遞率（PDR）提升了 5.45%，同時將平均端到端延遲大幅減少 34.79%。在節點最在意的資源消耗上，QQMR 成功減少了 11.17% 的路由開銷以及 19.08% 的總體能源消耗，證明其分群壓縮與獨立 Q-table 機制有效抑制了不必要的訊號交換。

而在封包發送速率變動的高負載壓力測試中，QQMR 依然保持穩定，封包傳遞率提升 2.48%，延遲降低 35.02%，且平均傳輸跳數（Hop count）減少了 27.51%。這意味著 QQMR 能夠在擁塞環境中，更快找到直接且低耗能的捷徑，確保醫療監控資料不中斷。

透過強化學習將通訊決策與 QoS 需求深度綁定，QQMR 證明了智慧路由能有效克服穿戴式醫療設備的硬體資源限制與拓撲不穩定。