L'intelligence au bord du chaos

Intelligence at the Edge of Chaos

October 3, 2024

Auteurs: Shiyang Zhang, Aakash Patel, Syed A Rizvi, Nianchen Liu, Sizhuang He, Amin Karbasi, Emanuele Zappala, David van Dijk

cs.AI

Résumé

Nous explorons l'émergence de comportements intelligents dans des systèmes artificiels en étudiant comment la complexité des systèmes basés sur des règles influence les capacités des modèles entraînés à prédire ces règles. Notre étude se concentre sur les automates cellulaires élémentaires (ECA), des systèmes unidimensionnels simples mais puissants qui génèrent des comportements allant du trivial à hautement complexe. En entraînant différents Grands Modèles de Langage (GML) sur différents ECA, nous avons évalué la relation entre la complexité du comportement des règles et l'intelligence manifestée par les GML, comme reflété dans leurs performances sur des tâches ultérieures. Nos résultats révèlent que les règles avec une complexité plus élevée conduisent à des modèles manifestant une plus grande intelligence, comme le démontre leur performance dans des tâches de raisonnement et de prédiction de coups d'échecs. Les systèmes uniformes et périodiques, et souvent aussi les systèmes hautement chaotiques, ont entraîné des performances ultérieures plus faibles, mettant en évidence un juste équilibre de complexité propice à l'intelligence. Nous conjecturons que l'intelligence découle de la capacité à prédire la complexité et que créer de l'intelligence pourrait nécessiter seulement une exposition à la complexité.

English

We explore the emergence of intelligent behavior in artificial systems by investigating how the complexity of rule-based systems influences the capabilities of models trained to predict these rules. Our study focuses on elementary cellular automata (ECA), simple yet powerful one-dimensional systems that generate behaviors ranging from trivial to highly complex. By training distinct Large Language Models (LLMs) on different ECAs, we evaluated the relationship between the complexity of the rules' behavior and the intelligence exhibited by the LLMs, as reflected in their performance on downstream tasks. Our findings reveal that rules with higher complexity lead to models exhibiting greater intelligence, as demonstrated by their performance on reasoning and chess move prediction tasks. Both uniform and periodic systems, and often also highly chaotic systems, resulted in poorer downstream performance, highlighting a sweet spot of complexity conducive to intelligence. We conjecture that intelligence arises from the ability to predict complexity and that creating intelligence may require only exposure to complexity.