Descifrando los patrones cognitivos de los Modelos de Lenguaje a Gran Escala a través de comunidades de módulos

Unraveling the cognitive patterns of Large Language Models through module communities

August 25, 2025

Autores: Kushal Raj Bhandari, Pin-Yu Chen, Jianxi Gao

cs.AI

Resumen

Los Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) han transformado nuestro mundo con avances significativos en la ciencia, la ingeniería y la sociedad a través de aplicaciones que van desde descubrimientos científicos y diagnósticos médicos hasta chatbots. A pesar de su ubicuidad y utilidad, los mecanismos subyacentes de los LLMs permanecen ocultos dentro de miles de millones de parámetros y estructuras complejas, lo que hace que su arquitectura interna y procesos cognitivos sean difíciles de comprender. Abordamos esta brecha adoptando enfoques para entender la cognición emergente en biología y desarrollando un marco basado en redes que vincula habilidades cognitivas, arquitecturas de LLMs y conjuntos de datos, marcando un cambio de paradigma en el análisis de modelos fundamentales. La distribución de habilidades en las comunidades de módulos demuestra que, aunque los LLMs no se alinean estrictamente con la especialización focalizada observada en sistemas biológicos específicos, exhiben comunidades únicas de módulos cuyos patrones emergentes de habilidades reflejan parcialmente la organización cognitiva distribuida pero interconectada que se observa en los cerebros de aves y pequeños mamíferos. Nuestros resultados numéricos destacan una divergencia clave entre los sistemas biológicos y los LLMs, donde la adquisición de habilidades se beneficia sustancialmente de interacciones dinámicas interregionales y la plasticidad neural. Al integrar principios de la ciencia cognitiva con el aprendizaje automático, nuestro marco proporciona nuevas perspectivas sobre la interpretabilidad de los LLMs y sugiere que las estrategias efectivas de ajuste fino deberían aprovechar dinámicas de aprendizaje distribuidas en lugar de intervenciones modulares rígidas.

English

Large Language Models (LLMs) have reshaped our world with significant advancements in science, engineering, and society through applications ranging from scientific discoveries and medical diagnostics to Chatbots. Despite their ubiquity and utility, the underlying mechanisms of LLM remain concealed within billions of parameters and complex structures, making their inner architecture and cognitive processes challenging to comprehend. We address this gap by adopting approaches to understanding emerging cognition in biology and developing a network-based framework that links cognitive skills, LLM architectures, and datasets, ushering in a paradigm shift in foundation model analysis. The skill distribution in the module communities demonstrates that while LLMs do not strictly parallel the focalized specialization observed in specific biological systems, they exhibit unique communities of modules whose emergent skill patterns partially mirror the distributed yet interconnected cognitive organization seen in avian and small mammalian brains. Our numerical results highlight a key divergence from biological systems to LLMs, where skill acquisition benefits substantially from dynamic, cross-regional interactions and neural plasticity. By integrating cognitive science principles with machine learning, our framework provides new insights into LLM interpretability and suggests that effective fine-tuning strategies should leverage distributed learning dynamics rather than rigid modular interventions.