Limits of Lamarckian Evolution Under Pressure of Morphological Novelty

Jed R Muff, Karine Miras, A. E. Eiben

View Original ↗
AI 導讀 technology AI 重要性 3/5

153萬次模擬證實,追求形態多樣性將使拉馬克權重繼承優勢徹底失效。

  • 純移動任務中,拉馬克演化憑藉權重繼承展現顯著的加速優勢。
  • 形態多樣性破壞了世代結構相似度,導致拉馬克權重繼承優勢失效。
  • 達爾文機制因權重採隨機初始化,其表現不受形態多樣性壓力干擾。

在演化機器人領域,允許後代繼承父母「已學習權重」的拉馬克演化長期被視為加速器。然而最新研究發現,當演化系統被施加形態多樣性壓力時,拉馬克機制的優勢將徹底衰退,而傳統達爾文機制卻幾乎不受影響。

演化機器人學的拉馬克權重繼承與達爾文機制

演化機器人學旨在透過人工演化自動設計機器人的形態與控制系統,模擬自然選擇來找出最佳解,避免依賴大量的人工工程。在這個過程中,一個核心挑戰是身體藍圖與控制器的聯合最佳化。每一個候選機器人都必須在自己的「生命週期」中經歷耗時的學習或適應期,隨後才能被評估演化適應度。面對龐大的搜尋空間,運算成本往往極高。

為了解決這個瓶頸,拉馬克演化(Lamarckian evolution)成為一種強大的加速機制。它允許後代繼承父母在生命週期中透過學習所獲得的特徵。在演化機器人領域,這通常表現為「暖啟動(warm starting)」:後代的控制器(大腦)並非從零開始,而是直接初始化為父母學到的神經網路參數。先前的廣泛研究已經證實,這種拉馬克機制能大幅加快靜態環境中的學習速度。

然而,拉馬克繼承的有效性建立在一個極度關鍵的假設上:後代必須與父母在形態上足夠相似,繼承下來的控制器才能保持兼容。相對地,傳統的達爾文演化(Darwinian evolution)的後代只會繼承身體結構,大腦參數則在出生時重新隨機初始化。當演化趨勢不再收斂於單一形態時,拉馬克機制的極限就會開始浮現。

嚴格物理約束與 153 萬次 CMA-ES 學習模擬

為了測試演化過程鼓勵形態改變時的系統反應,研究團隊使用 ARIEL 框架與 MuJoCo 物理模擬器建構了模組化機器人。每個機器人由核心模組、剛性磚塊與主動鉸鏈關節組成,透過樹狀結構編碼。系統嚴格限制總零件數最多為 25 個,且包含 4 至 12 個活動鉸鏈。任何超過限制或發生物理碰撞的結構,都會透過 Python-FCL 碰撞檢測函式庫進行修剪,以確保形態的實體可行性。

機器人的大腦是一個具有三個隱藏層的人工神經網路(ANN),負責處理核心的尤拉角、線速度、角速度以及鉸鏈位置等輸入,並輸出關節目標位置。在生命週期的學習階段,系統採用協方差矩陣適應演化策略(CMA-ES)進行 1,000 次評估來最佳化神經網路權重。適應度函數的計算主要依據機器人核心在 30 秒內的平移距離,同時嚴格懲罰初始高度過高或利用鉸鏈觸地引發物理模擬錯誤的行為。

實驗採 2×2 設計,針對達爾文與拉馬克兩種繼承機制,分別施加「純移動適應度」與「結合移動與形態多樣性」兩種條件。每一種條件進行 50 代、每代 30 個後代,並重複 20 次亂數種子,整體計算涵蓋了超過 153 萬次模擬評估,單次實驗需耗費約 48 個運算小時。

形態多樣性壓力導致拉馬克演化性能顯著下滑

當適應度函數單純以移動距離為目標時,所有演化搜尋都能成功找出有效移動的機器人。實驗數據證實,在純移動任務中,拉馬克演化的表現顯著優於達爾文演化,這再次印證了過去文獻的結論:權重繼承能有效加速機器人學習進程。

當適應度函數引入基於形態特徵(如分支數、肢體長度、對稱性等指標)的「形態新穎性(Morphological novelty)」獎勵後,局勢發生了根本性的反轉。拉馬克演化原本具備的效能領先優勢不再具有統計顯著性。

更關鍵的是,數據顯示拉馬克系統在面對多樣性壓力時,移動性能出現了顯著的下滑;相反地,達爾文系統在相同壓力下的性能降幅卻微乎其微。這項數據直接支持了研究團隊的核心假說:當演化系統主動鼓勵機器人長出與父母不同的新奇軀體時,拉馬克系統會付出不成比例的性能代價。

樹狀編輯距離與權重轉移失效的三大連鎖證據

為了深究拉馬克系統為何對形態多樣性如此敏感,團隊進一步檢驗了三個連鎖假設。第一,拉馬克系統本質上「偏好」相似的身體。在單純追求移動性能的條件下,系統測量了親代與子代形態的樹狀編輯距離(Tree edit distance)。結果發現,拉馬克演化培育出的後代,其形態與父母的相似度持續且明顯地高於達爾文演化,因為只有保持身體結構相近,繼承來的大腦權重才能發揮最大效用。

第二,引入新穎性壓力確實會強烈破壞這種世代間的相似性。在結合多樣性評估的實驗中,無論是達爾文還是拉馬克系統,世代早期的相似度就開始急速下降。為了追求新奇的特徵,後代的軀體結構被迫與父母產生嚴重分歧,使兩種機制的形態演化軌跡變得十分接近。

第三,這種相似度的下降,直接損害了後代剛出生並完成權重轉移時的「初始移動性能」。數據表明,達爾文演化因為權重是隨機初始化的,初始性能對形態相似度幾乎毫不敏感。但拉馬克演化卻強烈依賴親代相似度:當形態差異過大時,拉馬克繼承非但無法提供暖啟動優勢,反而會干擾神經網路適應新肢體的過程。

繼承開發與多樣性探索之間的權衡及演算法未來

這項研究具體界定了拉馬克演化在人工智慧與機器人系統中的應用邊界。在環境穩定且演化偏好形態收斂的情境下,讓神經網路權重跨世代傳遞無疑是最強大的效能加速機制。但在開放式演化系統或動態環境中,當系統需要透過形態多樣性進行廣泛探索時,拉馬克機制的底層假設就會面臨嚴重挑戰。

形態多樣性的獎勵在這裡可以視為一種模擬自然界環境變動、生態位分化或頻率依賴選擇(frequency-dependent selection)的外部壓力。實驗證明,只要破壞了親代與後代之間的形態連續性,權重傳承的效益就會被大幅削弱。

這些實證觀察為未來的演化演算法設計提供了明確的改進方向。未來的系統可嘗試探索具備「相似度感知(similarity-aware)」的自適應轉移機制,例如僅在形態高度重疊的局部模組間進行權重重用,或者結合達爾文與拉馬克的混合策略,以在繼承已知知識的開發與尋找新形態的探索之間,找到最佳平衡點。

引入形態多樣性壓力會破壞世代結構相似度,直接抵銷拉馬克權重繼承機制的加速優勢。

Abstract

Lamarckian inheritance has been shown to be a powerful accelerator in systems where the joint evolution of robot morphologies and controllers is enhanced with individual learning. Its defining advantage lies in the offspring inheriting controllers learned by their parents. The efficacy of this option, however, relies on morphological similarity between parent and offspring. In this study, we examine how Lamarckian inheritance performs when the search process is driven toward high morphological variance, potentially straining the requirement for parent-offspring similarity. Using a system of modular robots that can evolve and learn to solve a locomotion task, we compare Darwinian and Lamarckian evolution to determine how they respond to shifting from pure task-based selection to a multi-objective pressure that also rewards morphological novelty. Our results confirm that Lamarckian evolution outperforms Darwinian evolution when optimizing task-performance alone. However, introducing selection pressure for morphological diversity causes a substantial performance drop, which is much greater in the Lamarckian system. Further analyses show that promoting diversity reduces parent-offspring similarity, which in turn reduces the benefits of inheriting controllers learned by parents. These results reveal the limits of Lamarckian evolution by exposing a fundamental trade-off between inheritance-based exploitation and diversity-driven exploration.