Enhancing Model Based Derivative Free Optimization using Direct Search
研究團隊提出結合信賴域與直接搜尋的動態切換演算法，突破傳統模型停滯瓶頸，大幅提升多目標機器學習最佳化效率。
- TR-DS 架構動態切換信賴域與直接搜尋，在模型擬合不良時利用網格搜尋突破停滯，確保演算法持續收斂。
- 多目標最佳化任務中導入權重熱啟動機制，重複利用前期架構參數，顯著加速神經網路等機器學習模型的訓練。
- 透過檢驗 Λ-poisedness 與 QR 分解剔除線性相依點，確保插值矩陣滿秩，維持代理模型的幾何穩定性。
無導數最佳化專攻目標函數導數未知或運算成本高昂的難題。傳統信賴域方法易在代理模型擬合不良時陷入停滯，而直接搜尋法雖然強健但收斂遲緩。研究團隊提出全新的 TR-DS 動態切換演算法，融合兩者優勢，在多目標機器學習任務中展現出色的收斂效率。
無導數最佳化在模擬驅動與機器學習的挑戰
當代許多工程應用高度依賴運算密集的模擬環境，例如地下水管理中的偏微分方程式求解、汽車設計中平衡油耗與 0-60 英里加速時間的齒輪比調校，以及化學製程的參數最佳化。在這些情境下，目標函數的導數通常是未知的、充滿雜訊，或是因為模擬軟體屬於封閉架構而無法取得。傳統用來替代梯度的有限差分法（Finite-difference），在面對高維度且單次評估成本高昂的函數時，往往變得極度耗時且不切實際。在機器學習領域，無導數最佳化（DFO）同樣扮演關鍵角色，特別是在超參數調校與雙層最佳化任務中。外層的最佳化目標往往取決於內層學習任務的解，這使得基於梯度的最佳化策略變得難以執行。
目前的無導數最佳化演算法主要分為模型導向（Model-based）與搜尋導向（Search-based）兩大陣營。模型導向方法包含貝氏最佳化（BO）與信賴域（TR）框架，這類方法會利用已評估的函數點來建構代理模型，通常能提供收斂至一階甚至二階靜止點的理論保證。搜尋導向方法則涵蓋遺傳演算法與直接搜尋（DS），透過確定性或隨機模式在決策空間中反覆探勘，不需依賴平滑性假設即可運作。
信賴域與直接搜尋的互補特性與效能瓶頸
信賴域方法是目前應用最廣的模型導向策略之一，其核心假設是平滑的目標函數能在一個受限範圍（即信賴域）內，被二次代理模型良好地局部近似。演算法會根據樣本點建構二次模型，並評估實際函數下降量與模型預測下降量的比值。若該比值接近 1，代表模型預測準確，演算法會擴大信賴域半徑；若代理模型擬合不良或半徑縮減過度，最佳化過程便極易停滯在次佳的局部極小值。
針對代理模型的精確度，理論上引入了完全線性（Fully linear）的概念來衡量誤差邊界。當模型預測值與實際函數值的誤差受限於常數倍的半徑平方，且梯度誤差受限於單一半徑時，該模型便能提供具備保證的下降方向。然而，在面臨高雜訊或非平滑區域時，維持模型的完全線性狀態會消耗大量運算資源，導致信賴域方法在這些區域的效率大幅衰退。相較之下，貝氏最佳化雖然具備高斯過程提供的全域探索視野，但其局部微調能力通常弱於直接搜尋技術。
直接搜尋方法（如網格自適應直接搜尋 MADS）則完全避開了代理模型的建構，僅仰賴在特定網格與方向集上評估目標函數。每個迭代包含可選的全域搜尋與強制性的局部輪詢（Poll）階段，當輪詢失敗時便會縮減網格尺寸以進行更精細的探勘。直接搜尋的設計概念直觀且無須函數平滑假設，在面對雜訊或局部不規則特徵時展現出極高的強健性。不過，隨著問題維度增加，直接搜尋需要評估的點位數量會呈指數級上升，難以迅速達到高精度的最佳解。
觸發 TR-DS 動態切換與插值矩陣的滿秩條件
為了結合上述兩者的互補優勢，研究團隊提出了一種動態切換的 TR-DS（Trust Region - Direct Search）演算法架構。演算法最初以信賴域模式運行，利用二次模型的優勢進行快速收斂。當遇到連續的失敗迭代且代理模型已經確認為完全線性時，系統不會繼續盲目縮減信賴域半徑。相反地，演算法會將當前的半徑無縫轉換為直接搜尋的初始網格尺寸，強制進入直接搜尋階段。
在進入直接搜尋階段後，演算法會利用更廣泛的搜尋方向，試圖帶領當前解逃離淺層的局部極小值或平坦區域。由於直接搜尋的特性，系統可以承受較低的下降門檻，只要能找到具備邊際改善的點位即可更新座標。如果直接搜尋在經過預設的容忍次數後仍無法取得實質進展，演算法便會觸發反向切換機制。系統會帶著更新後的座標點回到信賴域模式，並重新建構二次代理模型以延續最佳化流程。
從直接搜尋切換回信賴域時，維持插值點集合的幾何穩定性至關重要，這在理論上被稱為 $\Lambda$-poisedness。若新加入的探勘點導致插值矩陣降秩，演算法會立刻啟動 QR 分解來識別線性相依的點位。系統接著會評估這些相依點，並剔除其中目標函數值最差的點位。透過這個嚴格的幾何修正機制，能確保拉格朗日多項式基底的穩定性，讓信賴域在重啟時能建構出數值條件良好的代理模型。
針對多目標機器學習任務的權重熱啟動機制
除了基礎架構的創新，這項研究特別將 TR-DS 演算法應用於複雜的多目標最佳化問題（MOP），涵蓋了機器學習模型的訓練與調校。在這類任務中，決策者往往需要同時最小化多個相互衝突的目標，例如模型的預測準確率、推論運算時間、演算法偏見以及網路的稀疏性。在處理此類包含多重目標的柏拉圖最佳（Pareto Optimality）問題時，單一的權重組合往往無法捕捉完整的權衡關係。因此，必須仰賴 $\epsilon$-constraint 等能夠靈活處理非平滑邊界的方法，配合動態切換機制來逼近真實的柏拉圖前緣。
在機器學習的實作情境中，針對神經網路、決策樹與 KNN 等基線模型的超參數搜尋往往耗費巨大算力。為了解決這個運算痛點，研究團隊在演算法中巧妙引入了權重熱啟動（Warm-starting）機制。當 TR-DS 演算法在探索相鄰的超參數或架構配置時，系統會直接重複利用前次組態的網路權重作為初始起點。這項設計有效利用了問題底層的結構相似性，不僅避免了從零開始訓練的運算浪費，更大幅縮短了內部迴圈的模型訓練時間。
研究團隊除了針對機器學習任務進行評估，也在標準的 CUTEst 測試集上進行了嚴謹的基準驗證。實驗將動態切換演算法與純粹的貝氏最佳化、傳統信賴域求解器進行了直接的數值比較。結果顯示，透過結合模型導向的效率與直接搜尋的強健性，TR-DS 方法在多種測試環境下皆呈現持續且強勁的效能表現。這項成果不僅為無導數最佳化領域提供了具備漸進收斂證明的全新路徑，也為需要處理多目標與高雜訊的實務工程帶來了極具價值的解決方案。
透過動態切換二次模型建構與網格方向搜尋，無導數最佳化演算法能在高運算成本與高雜訊的機器學習任務中，精準平衡收斂效率與全域探勘能力。