Offenheit ist entscheidend für künstliche Superintelligenz.

Open-Endedness is Essential for Artificial Superhuman Intelligence

June 6, 2024

Autoren: Edward Hughes, Michael Dennis, Jack Parker-Holder, Feryal Behbahani, Aditi Mavalankar, Yuge Shi, Tom Schaul, Tim Rocktaschel

cs.AI

Zusammenfassung

In den letzten Jahren gab es einen enormen Anstieg der allgemeinen Fähigkeiten von KI-Systemen, hauptsächlich durch das Training von Grundlagenmodellen auf internetweiten Daten. Dennoch bleibt die Schaffung einer offenen, sich ständig verbessernden KI eine Herausforderung. In diesem Positionspapier argumentieren wir, dass die Voraussetzungen nun gegeben sind, um Offenheit in KI-Systemen gegenüber einem menschlichen Beobachter zu erreichen. Darüber hinaus behaupten wir, dass eine solche Offenheit eine wesentliche Eigenschaft jeder künstlichen superhumanen Intelligenz (ASI) ist. Wir beginnen, indem wir eine konkrete formale Definition von Offenheit durch die Brille von Neuheit und Erlernbarkeit bereitstellen. Anschließend skizzieren wir einen Weg zu ASI über offene Systeme, die auf Grundlagenmodellen aufbauen und in der Lage sind, neue, für Menschen relevante Entdeckungen zu machen. Abschließend untersuchen wir die Sicherheitsimplikationen von allgemein fähigen offenen KI-Systemen. Wir erwarten, dass offene Grundlagenmodelle sich in naher Zukunft als ein immer fruchtbareres und sicherheitskritisches Forschungsgebiet erweisen werden.

English

In recent years there has been a tremendous surge in the general capabilities of AI systems, mainly fuelled by training foundation models on internetscale data. Nevertheless, the creation of openended, ever self-improving AI remains elusive. In this position paper, we argue that the ingredients are now in place to achieve openendedness in AI systems with respect to a human observer. Furthermore, we claim that such open-endedness is an essential property of any artificial superhuman intelligence (ASI). We begin by providing a concrete formal definition of open-endedness through the lens of novelty and learnability. We then illustrate a path towards ASI via open-ended systems built on top of foundation models, capable of making novel, humanrelevant discoveries. We conclude by examining the safety implications of generally-capable openended AI. We expect that open-ended foundation models will prove to be an increasingly fertile and safety-critical area of research in the near future.