대규모 언어 모델에서 모듈식 인지 아키텍처가 출현한다

초록

인간의 뇌는 현저한 수준의 기능적 특화를 보여 주며, 언어, 형식적 추론, 타인의 마음에 대한 추론, 물리적 세계에 대한 추론을 각각 지원하는 별개의 네트워크가 존재한다. 이러한 모듈식 조직이 지능적 시스템이 반드시 구축되어야 하는 근본 원리인지, 아니면 생물학적 뇌에 특화된 진화적 우연인지는 여전히 미해결 과제이다. 본 연구에서는 매우 상이한 최적화 과정을 통해 만들어진 또 다른 부류의 지능적 시스템인 대규모 언어 모델에서 유사한 조직이 나타나는지 검증한다. 네 가지 인지 영역(언어, 형식적 추론, 사회적 추론, 물리적 추론)에 걸친 N=46개 과제에 대한 회로 분석을 통해, 대규모 언어 모델이 인간의 뇌를 반영하는 모듈식 구조를 발달시킴을 발견하였다. 즉, 인간의 뇌에서 동일한 네트워크를 활용하는 과제들은 대규모 언어 모델에서도 중첩된 뉴런을 활성화하는 반면, 서로 다른 네트워크를 활용하는 과제들은 구별되는 뉴런을 활성화한다. 뇌와 신경망에서 모듈성이 수렴적으로 발현된다는 사실은 그것이 지능적 시스템의 근본적 속성일 수 있음을 시사한다.

English

The human brain exhibits a striking degree of functional specialization, with distinct networks supporting language, formal reasoning, reasoning about other minds, and reasoning about the physical world. Is this modular organization a fundamental principle of how intelligent systems must be built, or an evolutionary accident specific to biological brains? Here, we test whether a similar organization emerges in Large Language Models--another class of intelligent systems created through a very different optimization process. Using circuit analyses across N=46 tasks spanning four cognitive domains (language, formal reasoning, social reasoning, physical reasoning), we find that LLMs develop a modular architecture that mirrors the human brain: tasks drawing on the same network in humans recruit overlapping neurons in LLMs, whereas tasks drawing on different networks recruit distinct neurons. The convergent emergence of modularity in brains and neural networks suggests that it may be a fundamental property of intelligent systems.