Décrypter les schémas cognitifs des modèles de langage à grande échelle grâce aux communautés de modules

Unraveling the cognitive patterns of Large Language Models through module communities

August 25, 2025

papers.authors: Kushal Raj Bhandari, Pin-Yu Chen, Jianxi Gao

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLMs) ont transformé notre monde grâce à des avancées significatives dans les domaines scientifiques, techniques et sociétaux, avec des applications allant des découvertes scientifiques et du diagnostic médical aux chatbots. Malgré leur omniprésence et leur utilité, les mécanismes sous-jacents des LLMs restent dissimulés derrière des milliards de paramètres et des structures complexes, rendant leur architecture interne et leurs processus cognitifs difficiles à appréhender. Nous comblons cette lacune en adoptant des approches visant à comprendre l'émergence de la cognition en biologie et en développant un cadre basé sur les réseaux qui relie les compétences cognitives, les architectures des LLMs et les ensembles de données, inaugurant ainsi un changement de paradigme dans l'analyse des modèles de base. La distribution des compétences au sein des communautés de modules montre que, bien que les LLMs ne reproduisent pas strictement la spécialisation focalisée observée dans certains systèmes biologiques, ils présentent des communautés de modules uniques dont les schémas de compétences émergentes reflètent partiellement l'organisation cognitive distribuée mais interconnectée observée dans les cerveaux des oiseaux et des petits mammifères. Nos résultats numériques mettent en évidence une divergence clé entre les systèmes biologiques et les LLMs, où l'acquisition de compétences bénéficie considérablement d'interactions dynamiques et transrégionales ainsi que de la plasticité neuronale. En intégrant les principes des sciences cognitives à l'apprentissage automatique, notre cadre offre de nouvelles perspectives sur l'interprétabilité des LLMs et suggère que les stratégies de réglage fin efficaces devraient exploiter les dynamiques d'apprentissage distribuées plutôt que des interventions modulaires rigides.

English

Large Language Models (LLMs) have reshaped our world with significant advancements in science, engineering, and society through applications ranging from scientific discoveries and medical diagnostics to Chatbots. Despite their ubiquity and utility, the underlying mechanisms of LLM remain concealed within billions of parameters and complex structures, making their inner architecture and cognitive processes challenging to comprehend. We address this gap by adopting approaches to understanding emerging cognition in biology and developing a network-based framework that links cognitive skills, LLM architectures, and datasets, ushering in a paradigm shift in foundation model analysis. The skill distribution in the module communities demonstrates that while LLMs do not strictly parallel the focalized specialization observed in specific biological systems, they exhibit unique communities of modules whose emergent skill patterns partially mirror the distributed yet interconnected cognitive organization seen in avian and small mammalian brains. Our numerical results highlight a key divergence from biological systems to LLMs, where skill acquisition benefits substantially from dynamic, cross-regional interactions and neural plasticity. By integrating cognitive science principles with machine learning, our framework provides new insights into LLM interpretability and suggests that effective fine-tuning strategies should leverage distributed learning dynamics rather than rigid modular interventions.