Открытость является необходимым условием для искусственного сверхчеловеческого интеллекта.

Open-Endedness is Essential for Artificial Superhuman Intelligence

June 6, 2024

Авторы: Edward Hughes, Michael Dennis, Jack Parker-Holder, Feryal Behbahani, Aditi Mavalankar, Yuge Shi, Tom Schaul, Tim Rocktaschel

cs.AI

Аннотация

В последние годы произошел огромный взлет общих возможностей систем искусственного интеллекта, в основном за счет обучения базовых моделей на данных масштаба Интернета. Тем не менее создание бесконечного, постоянно самосовершенствующегося искусственного интеллекта остается недостижимой целью. В данной позиционной статье мы утверждаем, что теперь есть все предпосылки для достижения бесконечности в системах искусственного интеллекта с точки зрения человеческого наблюдателя. Более того, мы утверждаем, что такая бесконечность является неотъемлемым свойством любого искусственного сверхчеловеческого интеллекта (ИСИ). Мы начинаем с предоставления конкретного формального определения бесконечности через призму новизны и обучаемости. Затем мы показываем путь к ИСИ через бесконечные системы, построенные на базовых моделях, способных делать новые, актуальные для человека открытия. Мы заканчиваем рассмотрением вопросов безопасности обще способных бесконечных искусственных интеллектов. Мы ожидаем, что базовые модели с открытым исходным кодом окажутся все более плодотворной и критически важной областью исследований в ближайшем будущем.

English

In recent years there has been a tremendous surge in the general capabilities of AI systems, mainly fuelled by training foundation models on internetscale data. Nevertheless, the creation of openended, ever self-improving AI remains elusive. In this position paper, we argue that the ingredients are now in place to achieve openendedness in AI systems with respect to a human observer. Furthermore, we claim that such open-endedness is an essential property of any artificial superhuman intelligence (ASI). We begin by providing a concrete formal definition of open-endedness through the lens of novelty and learnability. We then illustrate a path towards ASI via open-ended systems built on top of foundation models, capable of making novel, humanrelevant discoveries. We conclude by examining the safety implications of generally-capable openended AI. We expect that open-ended foundation models will prove to be an increasingly fertile and safety-critical area of research in the near future.