L'ouverture est essentielle pour une intelligence artificielle surhumaine.

Open-Endedness is Essential for Artificial Superhuman Intelligence

June 6, 2024

Auteurs: Edward Hughes, Michael Dennis, Jack Parker-Holder, Feryal Behbahani, Aditi Mavalankar, Yuge Shi, Tom Schaul, Tim Rocktaschel

cs.AI

Résumé

Ces dernières années ont vu une augmentation considérable des capacités générales des systèmes d'IA, principalement alimentée par l'entraînement de modèles de base sur des données à l'échelle d'Internet. Néanmoins, la création d'une IA ouverte et capable de s'améliorer continuellement reste insaisissable. Dans cet article de position, nous soutenons que les ingrédients nécessaires pour atteindre l'ouverture dans les systèmes d'IA, du point de vue d'un observateur humain, sont désormais réunis. De plus, nous affirmons qu'une telle ouverture est une propriété essentielle de toute intelligence artificielle surhumaine (ASI). Nous commençons par fournir une définition formelle concrète de l'ouverture à travers le prisme de la nouveauté et de l'apprenabilité. Nous illustrons ensuite une voie vers l'ASI via des systèmes ouverts construits sur des modèles de base, capables de faire des découvertes nouvelles et pertinentes pour l'humain. Nous concluons en examinant les implications en matière de sécurité des IA ouvertes et généralement capables. Nous prévoyons que les modèles de base ouverts constitueront un domaine de recherche de plus en plus fertile et critique pour la sécurité dans un avenir proche.

English

In recent years there has been a tremendous surge in the general capabilities of AI systems, mainly fuelled by training foundation models on internetscale data. Nevertheless, the creation of openended, ever self-improving AI remains elusive. In this position paper, we argue that the ingredients are now in place to achieve openendedness in AI systems with respect to a human observer. Furthermore, we claim that such open-endedness is an essential property of any artificial superhuman intelligence (ASI). We begin by providing a concrete formal definition of open-endedness through the lens of novelty and learnability. We then illustrate a path towards ASI via open-ended systems built on top of foundation models, capable of making novel, humanrelevant discoveries. We conclude by examining the safety implications of generally-capable openended AI. We expect that open-ended foundation models will prove to be an increasingly fertile and safety-critical area of research in the near future.