Inteligencia en el Borde del Caos

Intelligence at the Edge of Chaos

October 3, 2024

Autores: Shiyang Zhang, Aakash Patel, Syed A Rizvi, Nianchen Liu, Sizhuang He, Amin Karbasi, Emanuele Zappala, David van Dijk

cs.AI

Resumen

Exploramos la aparición de comportamiento inteligente en sistemas artificiales al investigar cómo la complejidad de los sistemas basados en reglas influye en las capacidades de los modelos entrenados para predecir estas reglas. Nuestro estudio se centra en autómatas celulares elementales (ECA), sistemas unidimensionales simples pero potentes que generan comportamientos que van desde triviales hasta altamente complejos. Al entrenar distintos Modelos de Lenguaje Grandes (LLMs) en diferentes ECAs, evaluamos la relación entre la complejidad del comportamiento de las reglas y la inteligencia exhibida por los LLMs, reflejada en su rendimiento en tareas posteriores. Nuestros hallazgos revelan que las reglas con mayor complejidad conducen a modelos que exhiben una mayor inteligencia, como se demuestra en su rendimiento en tareas de razonamiento y predicción de movimientos de ajedrez. Tanto los sistemas uniformes como los periódicos, y a menudo también los sistemas altamente caóticos, resultaron en un rendimiento deficiente en tareas posteriores, resaltando un punto óptimo de complejidad propicio para la inteligencia. Conjeturamos que la inteligencia surge de la capacidad de predecir la complejidad y que crear inteligencia puede requerir solo exposición a la complejidad.

English

We explore the emergence of intelligent behavior in artificial systems by investigating how the complexity of rule-based systems influences the capabilities of models trained to predict these rules. Our study focuses on elementary cellular automata (ECA), simple yet powerful one-dimensional systems that generate behaviors ranging from trivial to highly complex. By training distinct Large Language Models (LLMs) on different ECAs, we evaluated the relationship between the complexity of the rules' behavior and the intelligence exhibited by the LLMs, as reflected in their performance on downstream tasks. Our findings reveal that rules with higher complexity lead to models exhibiting greater intelligence, as demonstrated by their performance on reasoning and chess move prediction tasks. Both uniform and periodic systems, and often also highly chaotic systems, resulted in poorer downstream performance, highlighting a sweet spot of complexity conducive to intelligence. We conjecture that intelligence arises from the ability to predict complexity and that creating intelligence may require only exposure to complexity.