オープンエンド性は人工超知能にとって不可欠である

Open-Endedness is Essential for Artificial Superhuman Intelligence

June 6, 2024

著者: Edward Hughes, Michael Dennis, Jack Parker-Holder, Feryal Behbahani, Aditi Mavalankar, Yuge Shi, Tom Schaul, Tim Rocktaschel

cs.AI

要旨

近年、インターネット規模のデータを用いて基盤モデルを訓練することにより、AIシステムの一般的な能力が飛躍的に向上しています。しかしながら、無限に自己改善を続けるオープンエンドなAIの実現は未だ困難な課題です。本ポジションペーパーでは、人間の観察者にとってのオープンエンド性をAIシステムで達成するための要素が既に揃っていると主張します。さらに、そのようなオープンエンド性は、人工超知能（ASI）にとって不可欠な特性であると述べます。まず、新奇性と学習可能性の観点から、オープンエンド性の具体的な形式的定義を提示します。次に、基盤モデル上に構築されたオープンエンドシステムを通じて、人間にとって関連性のある新たな発見を行うASIへの道筋を示します。最後に、一般的な能力を持つオープンエンドAIの安全性に関する影響を考察します。近い将来、オープンエンドな基盤モデルは、研究の肥沃な領域であり、安全性の観点からも重要なテーマとなることが期待されます。

English

In recent years there has been a tremendous surge in the general capabilities of AI systems, mainly fuelled by training foundation models on internetscale data. Nevertheless, the creation of openended, ever self-improving AI remains elusive. In this position paper, we argue that the ingredients are now in place to achieve openendedness in AI systems with respect to a human observer. Furthermore, we claim that such open-endedness is an essential property of any artificial superhuman intelligence (ASI). We begin by providing a concrete formal definition of open-endedness through the lens of novelty and learnability. We then illustrate a path towards ASI via open-ended systems built on top of foundation models, capable of making novel, humanrelevant discoveries. We conclude by examining the safety implications of generally-capable openended AI. We expect that open-ended foundation models will prove to be an increasingly fertile and safety-critical area of research in the near future.