進化と機械学習のナイトの盲点

Evolution and The Knightian Blindspot of Machine Learning

January 22, 2025

著者: Joel Lehman, Elliot Meyerson, Tarek El-Gaaly, Kenneth O. Stanley, Tarin Ziyaee

cs.AI

要旨

この論文は、機械学習（ML）が一般的知能の重要な側面、つまり未知の未来に対する堅牢性を大きく見落としていると主張しています。この堅牢性は、経済学におけるKnightian不確実性（KU）に関連しており、つまり数量化できない不確実性であり、これはMLの主要な形式体系から除外されています。この論文の目的は、この盲点を特定し、その重要性を論じ、対処するための研究を促進することであり、これが真に堅牢なオープンワールドAIを作成するために必要であると考えています。この盲点を明らかにするために、機械学習の一分野である強化学習（RL）と生物進化のプロセスを対比しています。驚異的な進歩が続いているにもかかわらず、RLは未知の状況下で苦戦し、予期しない状況下でしばしば失敗します。例えば、米国でのみ訓練された自動運転車のポリシーを英国にゼロショット転送するという考えは現在、非常に野心的に思われます。劇的な対照として、生物進化は定期的にオープンワールド内で繁栄するエージェントを生み出し、時には非常に分布外の状況にまで適応します（例：外来種、またはゼロショットの国際運転を行う人間）。興味深いことに、進化は明示的な理論、形式体系、または数学的勾配なしでこのような堅牢性を達成しています。私たちは、RLの典型的な形式体系の前提を探り、それが常に変化する複雑な世界の特徴である未知の未知との関わりを制限していることを示します。さらに、進化プロセスが新しい予測不可能な挑戦に対する堅牢性を促進するメカニズムを特定し、それらをアルゴリズム的に具現化するための潜在的な経路について議論します。結論として、MLの興味深い残存する脆弱性は、その形式体系の盲点から生じる可能性があり、KUの課題に直接立ち向かうことで大きな利益が得られるかもしれないと述べています。

English

This paper claims that machine learning (ML) largely overlooks an important facet of general intelligence: robustness to a qualitatively unknown future in an open world. Such robustness relates to Knightian uncertainty (KU) in economics, i.e. uncertainty that cannot be quantified, which is excluded from consideration in ML's key formalisms. This paper aims to identify this blind spot, argue its importance, and catalyze research into addressing it, which we believe is necessary to create truly robust open-world AI. To help illuminate the blind spot, we contrast one area of ML, reinforcement learning (RL), with the process of biological evolution. Despite staggering ongoing progress, RL still struggles in open-world situations, often failing under unforeseen situations. For example, the idea of zero-shot transferring a self-driving car policy trained only in the US to the UK currently seems exceedingly ambitious. In dramatic contrast, biological evolution routinely produces agents that thrive within an open world, sometimes even to situations that are remarkably out-of-distribution (e.g. invasive species; or humans, who do undertake such zero-shot international driving). Interestingly, evolution achieves such robustness without explicit theory, formalisms, or mathematical gradients. We explore the assumptions underlying RL's typical formalisms, showing how they limit RL's engagement with the unknown unknowns characteristic of an ever-changing complex world. Further, we identify mechanisms through which evolutionary processes foster robustness to novel and unpredictable challenges, and discuss potential pathways to algorithmically embody them. The conclusion is that the intriguing remaining fragility of ML may result from blind spots in its formalisms, and that significant gains may result from direct confrontation with the challenge of KU.