Multi-Objective Bayesian Optimization via Adaptive \varepsilon-Constraints Decomposition

Yaohong Yang, Sammie Katt, Samuel Kaski

View Original ↗
AI 導讀 technology AI 重要性 4/5

STAGE-BO 演算法捨棄超體積計算,透過尋找帕雷托前緣缺口並轉化為約束條件,突破 4 個目標以上的運算瓶頸。

  • STAGE-BO 將多目標最佳化轉為單一受約束子問題,避免計算超體積帶來的指數級運算成本。
  • 利用填充距離指標鎖定最大未探索區域,在 IGD 測試中展現超越主流演算法的均勻多樣性。
  • 演算法架構具備極佳擴展性,能無縫整合物理安全約束與專家偏好的 ROI 邊界設定。

多目標貝氏最佳化(MOBO)在處理複雜決策時,一旦評估指標數量超過 4 個,傳統基於超體積(Hypervolume)的演算法計算成本便會呈指數級暴增。為突破此運算極限,研究團隊提出 STAGE-BO 演算法,徹底捨棄超體積計算路徑,改為在帕雷托前緣(Pareto front)直接尋找並填充最大的幾何缺口。測試數據表明,這種將全局多目標問題轉化為單一受限子問題的策略,在不依賴龐大運算資源的同時,大幅提升了最佳解的分布均勻度。

傳統超體積最大化在四個目標以上的運算瓶頸

評估黑盒子函數的權衡取捨時,MOBO 旨在找出帕雷托最佳解(Pareto optimal solutions,指在不犧牲其他目標的情況下無法改善單一目標的解集合)。業界最普遍的評估指標是超體積(HV),多數演算法也以最大化 HV 的增量作為優化導向。然而,過度依賴 HV 會帶來嚴重的理論偏差與效能負擔。

根據理論分析,漸進狀態下最大化 HV 的解密度,與帕雷托前緣負斜率的平方根($\propto\sqrt{-F^{\prime}(\mathbf{x})}$)成正比。這代表基於 HV 的演算法具有明顯偏誤,會將解大量集中在斜率陡峭的「膝部(knee)」區域,卻忽略了斜率趨近於零的平坦折衷地帶,導致無法均勻覆蓋整個前緣。此外,精確計算 HV 的複雜度會隨著目標數量呈指數增長,當面對超過四個目標的最佳化任務時,運算代價將變得難以承受。

觀察市面上的主流方法,例如 qEHVI,雖然能取得極高的 HV 分數,卻無法產生均勻多樣的解集合。其逆世代距離(IGD,衡量前緣近似值收斂度與多樣性的指標)往往比注重覆蓋率的方法高出一個數量級。至於利用隨機權重拆解問題的純量化方法(Scalarization),已被證實均勻分布的權重無法直接對應到帕雷托前緣上的均勻解,容易造成叢集現象與龐大的幾何缺口。

STAGE-BO 演算法:缺口填充與約束分解機制

團隊開發的 STAGE-BO(Sequential Targeting Adaptive Gap-Filling $\varepsilon$-Constraint Bayesian Optimization)將視角轉向 $\varepsilon$-約束方法。該方法的核心概念在於,只要對其他目標設定適當的約束門檻,針對單一目標進行最佳化,便能還原任何帕雷托最佳點。STAGE-BO 的創新之處在於,它能精準識別出有效引導解均勻分布的約束條件。

運作流程的第一步是目標識別。演算法會從高斯過程(GP,一種機率分配模型,常用於代理模型建構)的後驗分布中抽取頻譜樣本路徑,並透過 NSGA-II 演化演算法計算出取樣的帕雷托前緣。接著,STAGE-BO 採用填充距離(Fill Distance)指標,在取樣前緣上找出一個距離現有觀測值最遠、處於最大未探索區域中心的目標座標點。

取得目標座標後,進入 $\varepsilon$-約束分解階段。STAGE-BO 將這些座標轉化為搜尋空間的邊界,把原先的多目標問題降維成帶有不等式約束的單目標子問題。為確保各目標在探索過程中保持平衡,演算法會以輪詢(round-robin)方式交替選擇要最大化的主要目標。最終,透過約束期望改善(cEI)擷取函數結合可行性機率(PoF),高效選出下一個能完美填補幾何缺口的探測點。

擴展至約束型 MOBO:無縫整合外部物理限制

在航太工程、材料科學等真實世界場景中,有效的設計除了要平衡效能目標,還必須符合嚴格的安全規範或物理限制(即 $G(\mathbf{x}) \geq 0$)。處理這類具備約束條件的多目標問題(CMOBO),通常需要對演算法架構與擷取函數進行複雜的修改,例如改用 cEHVI 或是基於最大值熵搜尋(MES)的估算模型。

受惠於 STAGE-BO 預設的降維框架,處理額外的物理約束變得異常直觀。因為演算法本身已經將多目標優化視為一連串受約束的子任務,工程師只需將外部的物理限制條件,直接附加到系統自動生成的 $\varepsilon$-約束清單中即可。

為了保證系統找出的目標缺口在物理上是可行的,STAGE-BO 在目標識別階段會利用湯普森取樣(Thompson Sampling)同時抽取目標函數與約束函數的路徑。在演化計算階段就會過濾掉違反物理限制的區域,確保最終鎖定的目標座標完全座落於有效搜尋空間內,維持 cEI 擷取函數的運算效率。

偏好感知設計:透過上下邊界錨定 ROI 區域

並非所有決策場景都需要耗費資源去重建完整的帕雷托前緣。領域專家往往擁有明確的偏好,希望能將運算資源集中在特定的感興趣區域(Region of Interest, ROI)。這種偏好通常會被定義為目標空間中的超矩形(hyper-rectangle),例如設定各項指標的上下限數值。

傳統偏好感知面臨的最大挑戰在於,使用者設定的 ROI 極有可能與真實的可行空間錯位。如果設定過於理想,區域可能超出真實的帕雷托前緣;若過於保守,則可能落在次佳的被支配空間。STAGE-BO 的應對策略是不將 ROI 視為死板的二元目標,而是將其拆解為「下界(最低可接受標準)」與「上界(理想極限)」兩組錨定約束。

透過彈性的邏輯設定,如果高標準的上界無法觸及,求解器會自動退而求其次,確保滿足下界以尋找最優折衷方案;反之,若下界門檻過低,上界則會引導系統繼續朝更優秀的區域探索。這些偏好邊界會在目標識別環節與 $\varepsilon$-約束融合,使得系統能精準鎖定使用者的偏好區間,卻不需要更動任何底層的最佳化方程式。

橫跨七項目標函數與火箭噴射器設計的基準測試

研究團隊在多達七項基準測試中檢驗了 STAGE-BO,涵蓋從兩個目標到六個目標的複雜維度。合成基準包含了 ZDT1、ZDT2 以及具有不連續前緣的 DTLZ7;真實世界任務則引入了彈簧壓縮設計、火箭噴射器設計,以及擁有 6 個最佳化目標的水資源規劃挑戰。

對比 qEHVI、qParEGO、qPOTS 等六種最先進的基準模型,STAGE-BO 在逆世代距離(IGD)上的表現全面勝出。這項數據證明了藉由幾何缺口填充的機制,演算法確實能以更快的速度朝帕雷托前緣收斂,並且展現出卓越的解多樣性。

值得注意的是,在面對水資源規劃這類高維度任務時,主流的 qEHVI 由於計算超體積的負擔過於龐大,只能執行極少數的疊代次數便被迫中止。而 STAGE-BO 雖然沒有將最大化超體積設定為直接目標,但其確保前緣均勻覆蓋的特性,最終仍帶來了極具競爭力的超體積總分,徹底解開了維度擴張與運算成本之間的死結。

捨棄龐雜的超體積計算,轉而精準鎖定並填充前緣缺口,STAGE-BO 為高維度多目標優化提供了一條兼具運算效率與覆蓋均勻度的新路徑。

Abstract

Multi-objective Bayesian optimization (MOBO) provides a principled framework for optimizing expensive black-box functions with multiple objectives. However, existing MOBO methods often struggle with coverage, scalability with respect to the number of objectives, and integrating constraints and preferences. In this work, we propose \textit{STAGE-BO, Sequential Targeting Adaptive Gap-Filling $\varepsilon$-Constraint Bayesian Optimization}, that explicitly targets under-explored regions of the Pareto front. By analyzing the coverage of the approximate Pareto front, our method identifies the largest geometric gaps. These gaps are then used as constraints, which transforms the problem into a sequence of inequality-constrained subproblems, efficiently solved via constrained expected improvement acquisition. Our approach provides a uniform Pareto coverage without hypervolume computation and naturally applies to constrained and preference-based settings. Experiments on synthetic and real-world benchmarks demonstrate superior coverage and competitive hypervolume performance against state-of-the-art baselines.