Intelligenza ai Margini del Caos

Intelligence at the Edge of Chaos

October 3, 2024

Autori: Shiyang Zhang, Aakash Patel, Syed A Rizvi, Nianchen Liu, Sizhuang He, Amin Karbasi, Emanuele Zappala, David van Dijk

cs.AI

Abstract

Esploriamo l'emergere di comportamenti intelligenti nei sistemi artificiali indagando come la complessità dei sistemi basati su regole influenzi le capacità dei modelli addestrati a prevedere tali regole. Il nostro studio si concentra su automi cellulari elementari (ECA), sistemi unidimensionali semplici ma potenti che generano comportamenti che vanno da banali a altamente complessi. Addestrando diversi Grandi Modelli Linguistici (LLM) su diversi ECA, abbiamo valutato il rapporto tra la complessità del comportamento delle regole e l'intelligenza mostrata dai LLM, come rispecchiato dalle loro prestazioni su compiti successivi. I nostri risultati rivelano che le regole con una maggiore complessità portano a modelli che mostrano maggiore intelligenza, come dimostrato dalle loro prestazioni nel ragionamento e nella previsione delle mosse degli scacchi. Sia i sistemi uniformi che periodici, e spesso anche i sistemi altamente caotici, hanno portato a prestazioni scadenti nei compiti successivi, evidenziando un punto ottimale di complessità favorevole all'intelligenza. Congettura che l'intelligenza derivi dalla capacità di prevedere la complessità e che creare intelligenza possa richiedere solo l'esposizione alla complessità.

English

We explore the emergence of intelligent behavior in artificial systems by investigating how the complexity of rule-based systems influences the capabilities of models trained to predict these rules. Our study focuses on elementary cellular automata (ECA), simple yet powerful one-dimensional systems that generate behaviors ranging from trivial to highly complex. By training distinct Large Language Models (LLMs) on different ECAs, we evaluated the relationship between the complexity of the rules' behavior and the intelligence exhibited by the LLMs, as reflected in their performance on downstream tasks. Our findings reveal that rules with higher complexity lead to models exhibiting greater intelligence, as demonstrated by their performance on reasoning and chess move prediction tasks. Both uniform and periodic systems, and often also highly chaotic systems, resulted in poorer downstream performance, highlighting a sweet spot of complexity conducive to intelligence. We conjecture that intelligence arises from the ability to predict complexity and that creating intelligence may require only exposure to complexity.