Intelligentie aan de rand van chaos

Intelligence at the Edge of Chaos

October 3, 2024

Auteurs: Shiyang Zhang, Aakash Patel, Syed A Rizvi, Nianchen Liu, Sizhuang He, Amin Karbasi, Emanuele Zappala, David van Dijk

cs.AI

Samenvatting

We onderzoeken de opkomst van intelligent gedrag in kunstmatige systemen door te onderzoeken hoe de complexiteit van op regels gebaseerde systemen van invloed is op de mogelijkheden van modellen die zijn getraind om deze regels te voorspellen. Onze studie richt zich op elementaire cellulaire automaten (ECA), eenvoudige maar krachtige een-dimensionale systemen die gedrag genereren variërend van triviaal tot zeer complex. Door verschillende Grote Taalmodellen (LLMs) te trainen op verschillende ECAs, hebben we de relatie geëvalueerd tussen de complexiteit van het gedrag van de regels en de intelligentie die wordt tentoongespreid door de LLMs, zoals weerspiegeld in hun prestaties op downstream taken. Onze bevindingen tonen aan dat regels met een hogere complexiteit leiden tot modellen die meer intelligentie vertonen, zoals aangetoond door hun prestaties op redeneer- en schaakzetvoorspellingstaken. Zowel uniforme als periodieke systemen, en vaak ook zeer chaotische systemen, resulteerden in slechtere downstream prestaties, waarbij een 'sweet spot' van complexiteit die bevorderlijk is voor intelligentie werd benadrukt. We vermoeden dat intelligentie voortkomt uit het vermogen om complexiteit te voorspellen en dat het creëren van intelligentie mogelijk alleen blootstelling aan complexiteit vereist.

English

We explore the emergence of intelligent behavior in artificial systems by investigating how the complexity of rule-based systems influences the capabilities of models trained to predict these rules. Our study focuses on elementary cellular automata (ECA), simple yet powerful one-dimensional systems that generate behaviors ranging from trivial to highly complex. By training distinct Large Language Models (LLMs) on different ECAs, we evaluated the relationship between the complexity of the rules' behavior and the intelligence exhibited by the LLMs, as reflected in their performance on downstream tasks. Our findings reveal that rules with higher complexity lead to models exhibiting greater intelligence, as demonstrated by their performance on reasoning and chess move prediction tasks. Both uniform and periodic systems, and often also highly chaotic systems, resulted in poorer downstream performance, highlighting a sweet spot of complexity conducive to intelligence. We conjecture that intelligence arises from the ability to predict complexity and that creating intelligence may require only exposure to complexity.