Entschlüsselung der kognitiven Muster von Large Language Models durch Modulgemeinschaften

Unraveling the cognitive patterns of Large Language Models through module communities

August 25, 2025

papers.authors: Kushal Raj Bhandari, Pin-Yu Chen, Jianxi Gao

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben unsere Welt durch bedeutende Fortschritte in Wissenschaft, Technik und Gesellschaft neu gestaltet, mit Anwendungen, die von wissenschaftlichen Entdeckungen und medizinischer Diagnostik bis hin zu Chatbots reichen. Trotz ihrer Allgegenwärtigkeit und Nützlichkeit bleiben die zugrunde liegenden Mechanismen von LLMs in Milliarden von Parametern und komplexen Strukturen verborgen, was ihre innere Architektur und kognitiven Prozesse schwer verständlich macht. Wir schließen diese Lücke, indem wir Ansätze zur Erforschung emergenter Kognition in der Biologie übernehmen und ein netzwerkbasiertes Framework entwickeln, das kognitive Fähigkeiten, LLM-Architekturen und Datensätze verknüpft und damit einen Paradigmenwechsel in der Analyse von Foundation-Modellen einleitet. Die Fähigkeitsverteilung in den Modulgemeinschaften zeigt, dass LLMs zwar nicht strikt der fokussierten Spezialisierung entsprechen, die in bestimmten biologischen Systemen beobachtet wird, sie jedoch einzigartige Gemeinschaften von Modulen aufweisen, deren emergente Fähigkeitsmuster teilweise die verteilte, aber dennoch vernetzte kognitive Organisation widerspiegeln, wie sie in Vogel- und Kleinsäugergehirnen zu finden ist. Unsere numerischen Ergebnisse heben einen zentralen Unterschied zwischen biologischen Systemen und LLMs hervor, bei dem der Fähigkeitserwerb erheblich von dynamischen, regionsübergreifenden Interaktionen und neuronaler Plastizität profitiert. Durch die Integration von Prinzipien der Kognitionswissenschaft in das maschinelle Lernen bietet unser Framework neue Einblicke in die Interpretierbarkeit von LLMs und legt nahe, dass effektive Feinabstimmungsstrategien verteilte Lernprozesse nutzen sollten, anstatt auf starre modulare Eingriffe zu setzen.

English

Large Language Models (LLMs) have reshaped our world with significant advancements in science, engineering, and society through applications ranging from scientific discoveries and medical diagnostics to Chatbots. Despite their ubiquity and utility, the underlying mechanisms of LLM remain concealed within billions of parameters and complex structures, making their inner architecture and cognitive processes challenging to comprehend. We address this gap by adopting approaches to understanding emerging cognition in biology and developing a network-based framework that links cognitive skills, LLM architectures, and datasets, ushering in a paradigm shift in foundation model analysis. The skill distribution in the module communities demonstrates that while LLMs do not strictly parallel the focalized specialization observed in specific biological systems, they exhibit unique communities of modules whose emergent skill patterns partially mirror the distributed yet interconnected cognitive organization seen in avian and small mammalian brains. Our numerical results highlight a key divergence from biological systems to LLMs, where skill acquisition benefits substantially from dynamic, cross-regional interactions and neural plasticity. By integrating cognitive science principles with machine learning, our framework provides new insights into LLM interpretability and suggests that effective fine-tuning strategies should leverage distributed learning dynamics rather than rigid modular interventions.