Abertura é Essencial para a Inteligência Artificial Super-humana
Open-Endedness is Essential for Artificial Superhuman Intelligence
June 6, 2024
Autores: Edward Hughes, Michael Dennis, Jack Parker-Holder, Feryal Behbahani, Aditi Mavalankar, Yuge Shi, Tom Schaul, Tim Rocktaschel
cs.AI
Resumo
Nos últimos anos, houve um aumento significativo nas capacidades gerais dos sistemas de IA, impulsionado principalmente pelo treinamento de modelos de base em dados de escala da internet. No entanto, a criação de uma IA de autoaperfeiçoamento contínuo e ilimitado permanece evasiva. Neste artigo de posicionamento, argumentamos que os ingredientes necessários para alcançar a ilimitação em sistemas de IA, do ponto de vista de um observador humano, já estão disponíveis. Além disso, afirmamos que essa ilimitação é uma propriedade essencial de qualquer inteligência artificial super-humana (ASI). Começamos fornecendo uma definição formal concreta de ilimitação através das lentes da novidade e da capacidade de aprendizado. Em seguida, ilustramos um caminho para a ASI por meio de sistemas ilimitados construídos sobre modelos de base, capazes de fazer descobertas novas e relevantes para os humanos. Concluímos examinando as implicações de segurança de uma IA ilimitada e geralmente capaz. Esperamos que os modelos de base ilimitados se tornem uma área de pesquisa cada vez mais fértil e crítica para a segurança no futuro próximo.
English
In recent years there has been a tremendous surge in the general capabilities
of AI systems, mainly fuelled by training foundation models on internetscale
data. Nevertheless, the creation of openended, ever self-improving AI remains
elusive. In this position paper, we argue that the ingredients are now in place
to achieve openendedness in AI systems with respect to a human observer.
Furthermore, we claim that such open-endedness is an essential property of any
artificial superhuman intelligence (ASI). We begin by providing a concrete
formal definition of open-endedness through the lens of novelty and
learnability. We then illustrate a path towards ASI via open-ended systems
built on top of foundation models, capable of making novel, humanrelevant
discoveries. We conclude by examining the safety implications of
generally-capable openended AI. We expect that open-ended foundation models
will prove to be an increasingly fertile and safety-critical area of research
in the near future.