Интеллект на грани хаоса

Intelligence at the Edge of Chaos

October 3, 2024

Авторы: Shiyang Zhang, Aakash Patel, Syed A Rizvi, Nianchen Liu, Sizhuang He, Amin Karbasi, Emanuele Zappala, David van Dijk

cs.AI

Аннотация

Мы исследуем проявление интеллектуального поведения в искусственных системах, изучая, как сложность систем на основе правил влияет на возможности моделей, обученных предсказывать эти правила. Наше исследование сосредоточено на элементарных клеточных автоматах (ECA), простых, но мощных одномерных системах, которые генерируют поведение от тривиального до высоко сложного. Обучив различные Большие Языковые Модели (LLM) на различных ECA, мы оценили связь между сложностью поведения правил и интеллектом, проявляемым LLM, что отражается в их результативности на последующих задачах. Наши результаты показывают, что правила с более высокой сложностью приводят к моделям, проявляющим больший интеллект, что подтверждается их результативностью на задачах рассуждения и предсказания ходов в шахматах. Как равномерные, так и периодические системы, а также чрезвычайно хаотичные системы, привели к менее успешной результативности, выделяя "золотую середину" сложности, способствующую интеллекту. Мы предполагаем, что интеллект возникает из способности предсказывать сложность и создание интеллекта может потребовать только воздействия сложности.

English

We explore the emergence of intelligent behavior in artificial systems by investigating how the complexity of rule-based systems influences the capabilities of models trained to predict these rules. Our study focuses on elementary cellular automata (ECA), simple yet powerful one-dimensional systems that generate behaviors ranging from trivial to highly complex. By training distinct Large Language Models (LLMs) on different ECAs, we evaluated the relationship between the complexity of the rules' behavior and the intelligence exhibited by the LLMs, as reflected in their performance on downstream tasks. Our findings reveal that rules with higher complexity lead to models exhibiting greater intelligence, as demonstrated by their performance on reasoning and chess move prediction tasks. Both uniform and periodic systems, and often also highly chaotic systems, resulted in poorer downstream performance, highlighting a sweet spot of complexity conducive to intelligence. We conjecture that intelligence arises from the ability to predict complexity and that creating intelligence may require only exposure to complexity.