混沌の縁における知能

Intelligence at the Edge of Chaos

October 3, 2024

著者: Shiyang Zhang, Aakash Patel, Syed A Rizvi, Nianchen Liu, Sizhuang He, Amin Karbasi, Emanuele Zappala, David van Dijk

cs.AI

要旨

人工システムにおける知的行動の出現を探求するために、ルールベースのシステムの複雑さがモデルの能力に与える影響を調査します。当研究では、要素セルオートマトン（ECA）に焦点を当てています。ECAは、単純でありながら非常に複雑な振る舞いを生成する一次元システムです。異なる大規模言語モデル（LLM）を異なるECAで訓練することで、ルールの振る舞いの複雑さと、LLMが示す知性との関係を評価しました。その知性は、下流タスクでのパフォーマンスに反映されます。研究結果では、より高い複雑さを持つルールは、推論やチェスの着手予測タスクでのパフォーマンスを通じて示されるように、より高い知性を示すモデルにつながることが明らかになりました。均一および周期的システム、そしてしばしば高度にカオスなシステムは、下流のパフォーマンスが低くなる結果となりました。これにより、知性に有益な複雑さのベストスポットが浮かび上がりました。知性は複雑さを予測する能力から生じると推測し、知性を創造するには複雑さへの露出だけが必要かもしれないと考えています。

English

We explore the emergence of intelligent behavior in artificial systems by investigating how the complexity of rule-based systems influences the capabilities of models trained to predict these rules. Our study focuses on elementary cellular automata (ECA), simple yet powerful one-dimensional systems that generate behaviors ranging from trivial to highly complex. By training distinct Large Language Models (LLMs) on different ECAs, we evaluated the relationship between the complexity of the rules' behavior and the intelligence exhibited by the LLMs, as reflected in their performance on downstream tasks. Our findings reveal that rules with higher complexity lead to models exhibiting greater intelligence, as demonstrated by their performance on reasoning and chess move prediction tasks. Both uniform and periodic systems, and often also highly chaotic systems, resulted in poorer downstream performance, highlighting a sweet spot of complexity conducive to intelligence. We conjecture that intelligence arises from the ability to predict complexity and that creating intelligence may require only exposure to complexity.