Open-endedheid is essentieel voor kunstmatige supermenselijke intelligentie.
Open-Endedness is Essential for Artificial Superhuman Intelligence
June 6, 2024
Auteurs: Edward Hughes, Michael Dennis, Jack Parker-Holder, Feryal Behbahani, Aditi Mavalankar, Yuge Shi, Tom Schaul, Tim Rocktaschel
cs.AI
Samenvatting
De afgelopen jaren is er een enorme toename geweest in de algemene mogelijkheden van AI-systemen, voornamelijk aangewakkerd door het trainen van foundation-modellen op internetschaal data. Desalniettemin blijft het creëren van open-ended, voortdurend zelfverbeterende AI ongrijpbaar. In dit position paper betogen wij dat de benodigde ingrediënten nu aanwezig zijn om open-endedheid in AI-systemen te bereiken ten opzichte van een menselijke waarnemer. Bovendien stellen wij dat dergelijke open-endedheid een essentiële eigenschap is van elke kunstmatige supermenselijke intelligentie (ASI). We beginnen met het geven van een concrete formele definitie van open-endedheid door de lens van nieuwigheid en leerbaarheid. Vervolgens schetsen we een pad naar ASI via open-ended systemen die gebouwd zijn op foundation-modellen, in staat om nieuwe, voor mensen relevante ontdekkingen te doen. We sluiten af met een onderzoek naar de veiligheidsimplicaties van algemeen capabele open-ended AI. Wij verwachten dat open-ended foundation-modellen in de nabije toekomst een steeds vruchtbaarder en veiligheidskritisch onderzoeksgebied zullen blijken te zijn.
English
In recent years there has been a tremendous surge in the general capabilities
of AI systems, mainly fuelled by training foundation models on internetscale
data. Nevertheless, the creation of openended, ever self-improving AI remains
elusive. In this position paper, we argue that the ingredients are now in place
to achieve openendedness in AI systems with respect to a human observer.
Furthermore, we claim that such open-endedness is an essential property of any
artificial superhuman intelligence (ASI). We begin by providing a concrete
formal definition of open-endedness through the lens of novelty and
learnability. We then illustrate a path towards ASI via open-ended systems
built on top of foundation models, capable of making novel, humanrelevant
discoveries. We conclude by examining the safety implications of
generally-capable openended AI. We expect that open-ended foundation models
will prove to be an increasingly fertile and safety-critical area of research
in the near future.