개방성은 인공 초지능을 위해 필수적인 요소이다.

Open-Endedness is Essential for Artificial Superhuman Intelligence

June 6, 2024

저자: Edward Hughes, Michael Dennis, Jack Parker-Holder, Feryal Behbahani, Aditi Mavalankar, Yuge Shi, Tom Schaul, Tim Rocktaschel

cs.AI

초록

최근 몇 년 동안 인터넷 규모의 데이터를 기반으로 파운데이션 모델을 학습시킴으로써 AI 시스템의 전반적인 역량이 엄청나게 증가했습니다. 그럼에도 불구하고, 끝없이 스스로 개선되는 개방형 AI의 창조는 여전히 달성하기 어려운 목표로 남아 있습니다. 이 포지션 페이퍼에서 우리는 인간 관찰자의 관점에서 AI 시스템의 개방형 특성을 달성하기 위한 요소들이 이제 마련되었다고 주장합니다. 더 나아가, 우리는 이러한 개방형 특성이 인공 초지능(ASI)의 필수적인 속성이라고 주장합니다. 우리는 먼저 새로움과 학습 가능성이라는 렌즈를 통해 개방형 특성에 대한 구체적인 형식적 정의를 제시합니다. 그런 다음 파운데이션 모델 위에 구축된 개방형 시스템을 통해 인간과 관련된 새로운 발견을 할 수 있는 ASI로 가는 길을 설명합니다. 마지막으로, 일반적인 역량을 가진 개방형 AI의 안전성에 대한 함의를 검토합니다. 우리는 개방형 파운데이션 모델이 가까운 미래에 점점 더 비옥하고 안전성 측면에서 중요한 연구 분야로 자리 잡을 것으로 기대합니다.

English

In recent years there has been a tremendous surge in the general capabilities of AI systems, mainly fuelled by training foundation models on internetscale data. Nevertheless, the creation of openended, ever self-improving AI remains elusive. In this position paper, we argue that the ingredients are now in place to achieve openendedness in AI systems with respect to a human observer. Furthermore, we claim that such open-endedness is an essential property of any artificial superhuman intelligence (ASI). We begin by providing a concrete formal definition of open-endedness through the lens of novelty and learnability. We then illustrate a path towards ASI via open-ended systems built on top of foundation models, capable of making novel, humanrelevant discoveries. We conclude by examining the safety implications of generally-capable openended AI. We expect that open-ended foundation models will prove to be an increasingly fertile and safety-critical area of research in the near future.