L'apertura è essenziale per un'intelligenza artificiale superumana.
Open-Endedness is Essential for Artificial Superhuman Intelligence
June 6, 2024
Autori: Edward Hughes, Michael Dennis, Jack Parker-Holder, Feryal Behbahani, Aditi Mavalankar, Yuge Shi, Tom Schaul, Tim Rocktaschel
cs.AI
Abstract
Negli ultimi anni si è verificato un enorme incremento delle capacità generali dei sistemi di intelligenza artificiale, alimentato principalmente dall'addestramento di modelli di base su dati di scala internet. Tuttavia, la creazione di un'IA in grado di auto-migliorarsi in modo aperto e continuativo rimane sfuggente. In questo position paper, sosteniamo che gli ingredienti necessari per raggiungere l'apertura nei sistemi di IA rispetto a un osservatore umano sono ora disponibili. Inoltre, affermiamo che tale apertura è una proprietà essenziale di qualsiasi intelligenza artificiale superumana (ASI). Iniziamo fornendo una definizione formale concreta di apertura attraverso la lente della novità e dell'apprendibilità. Successivamente, illustriamo un percorso verso l'ASI tramite sistemi aperti costruiti su modelli di base, capaci di fare scoperte nuove e rilevanti per gli esseri umani. Concludiamo esaminando le implicazioni per la sicurezza di un'IA aperta e generalmente capace. Ci aspettiamo che i modelli di base aperti si dimostreranno un'area di ricerca sempre più fertile e critica per la sicurezza nel prossimo futuro.
English
In recent years there has been a tremendous surge in the general capabilities
of AI systems, mainly fuelled by training foundation models on internetscale
data. Nevertheless, the creation of openended, ever self-improving AI remains
elusive. In this position paper, we argue that the ingredients are now in place
to achieve openendedness in AI systems with respect to a human observer.
Furthermore, we claim that such open-endedness is an essential property of any
artificial superhuman intelligence (ASI). We begin by providing a concrete
formal definition of open-endedness through the lens of novelty and
learnability. We then illustrate a path towards ASI via open-ended systems
built on top of foundation models, capable of making novel, humanrelevant
discoveries. We conclude by examining the safety implications of
generally-capable openended AI. We expect that open-ended foundation models
will prove to be an increasingly fertile and safety-critical area of research
in the near future.