大規模言語モデルにおいてモジュール型認知アーキテクチャが創発する

要旨

人間の脳は顕著な機能的特殊化を示し、言語、形式的推論、他者の心についての推論、物理的世界についての推論をそれぞれ支える異なるネットワークを有する。このモジュール構造は、知能システムが構築される際の根本的原理なのであろうか、それとも生物学的脳に固有の進化的偶然なのであろうか。本稿では、まったく異なる最適化プロセスを通じて創出された別のクラスの知能システムである大規模言語モデル（LLM）においても同様の組織化が生じるかを検証する。4つの認知領域（言語、形式的推論、社会的推論、物理的推論）にわたるN=46タスクに対する回路解析を用いて、LLMが人間の脳を反映するモジュール構造を発達させることを見出した。すなわち、人間において同じネットワークを利用するタスクはLLM内の重複するニューロンを動員し、異なるネットワークを利用するタスクは異なるニューロンを動員するのである。脳とニューラルネットワークにおけるモジュール性の収斂的出現は、これが知能システムの根本的特性である可能性を示唆している。

English

The human brain exhibits a striking degree of functional specialization, with distinct networks supporting language, formal reasoning, reasoning about other minds, and reasoning about the physical world. Is this modular organization a fundamental principle of how intelligent systems must be built, or an evolutionary accident specific to biological brains? Here, we test whether a similar organization emerges in Large Language Models--another class of intelligent systems created through a very different optimization process. Using circuit analyses across N=46 tasks spanning four cognitive domains (language, formal reasoning, social reasoning, physical reasoning), we find that LLMs develop a modular architecture that mirrors the human brain: tasks drawing on the same network in humans recruit overlapping neurons in LLMs, whereas tasks drawing on different networks recruit distinct neurons. The convergent emergence of modularity in brains and neural networks suggests that it may be a fundamental property of intelligent systems.