La apertura es esencial para la inteligencia artificial superhumana.

Open-Endedness is Essential for Artificial Superhuman Intelligence

June 6, 2024

Autores: Edward Hughes, Michael Dennis, Jack Parker-Holder, Feryal Behbahani, Aditi Mavalankar, Yuge Shi, Tom Schaul, Tim Rocktaschel

cs.AI

Resumen

En los últimos años ha habido un tremendo aumento en las capacidades generales de los sistemas de IA, impulsado principalmente por el entrenamiento de modelos base en datos a escala de internet. Sin embargo, la creación de una IA de mejora continua y abierta sigue siendo esquiva. En este documento de posición, argumentamos que los ingredientes necesarios ya están disponibles para lograr la apertura en los sistemas de IA con respecto a un observador humano. Además, afirmamos que dicha apertura es una propiedad esencial de cualquier inteligencia artificial superhumana (ASI). Comenzamos proporcionando una definición formal concreta de apertura a través de la lente de la novedad y la capacidad de aprendizaje. Luego, ilustramos un camino hacia la ASI mediante sistemas abiertos construidos sobre modelos base, capaces de realizar descubrimientos novedosos y relevantes para los humanos. Concluimos examinando las implicaciones de seguridad de una IA abierta y de capacidades generales. Esperamos que los modelos base abiertos demuestren ser un área de investigación cada vez más fértil y crítica para la seguridad en un futuro cercano.

English

In recent years there has been a tremendous surge in the general capabilities of AI systems, mainly fuelled by training foundation models on internetscale data. Nevertheless, the creation of openended, ever self-improving AI remains elusive. In this position paper, we argue that the ingredients are now in place to achieve openendedness in AI systems with respect to a human observer. Furthermore, we claim that such open-endedness is an essential property of any artificial superhuman intelligence (ASI). We begin by providing a concrete formal definition of open-endedness through the lens of novelty and learnability. We then illustrate a path towards ASI via open-ended systems built on top of foundation models, capable of making novel, humanrelevant discoveries. We conclude by examining the safety implications of generally-capable openended AI. We expect that open-ended foundation models will prove to be an increasingly fertile and safety-critical area of research in the near future.