Раскрытие когнитивных паттернов крупных языковых моделей через анализ модульных сообществ

Unraveling the cognitive patterns of Large Language Models through module communities

August 25, 2025

Авторы: Kushal Raj Bhandari, Pin-Yu Chen, Jianxi Gao

cs.AI

Аннотация

Крупные языковые модели (LLM) изменили наш мир, добившись значительных успехов в науке, технике и обществе благодаря приложениям, начиная от научных открытий и медицинской диагностики до чат-ботов. Несмотря на их повсеместное распространение и полезность, внутренние механизмы работы LLM остаются скрытыми за миллиардами параметров и сложными структурами, что делает их внутреннюю архитектуру и когнитивные процессы трудными для понимания. Мы устраняем этот пробел, применяя подходы к изучению возникающей когниции в биологии и разрабатывая сетевую структуру, которая связывает когнитивные навыки, архитектуры LLM и наборы данных, что знаменует собой смену парадигмы в анализе базовых моделей. Распределение навыков в модульных сообществах показывает, что, хотя LLM не строго соответствуют фокусированной специализации, наблюдаемой в конкретных биологических системах, они демонстрируют уникальные сообщества модулей, чьи возникающие паттерны навыков частично отражают распределенную, но взаимосвязанную когнитивную организацию, наблюдаемую в мозгах птиц и мелких млекопитающих. Наши численные результаты подчеркивают ключевое отличие биологических систем от LLM, где приобретение навыков существенно выигрывает от динамических межрегиональных взаимодействий и нейропластичности. Интегрируя принципы когнитивной науки с машинным обучением, наша структура предоставляет новые инсайты в интерпретируемость LLM и предполагает, что эффективные стратегии тонкой настройки должны использовать распределенные динамики обучения, а не жесткие модульные вмешательства.

English

Large Language Models (LLMs) have reshaped our world with significant advancements in science, engineering, and society through applications ranging from scientific discoveries and medical diagnostics to Chatbots. Despite their ubiquity and utility, the underlying mechanisms of LLM remain concealed within billions of parameters and complex structures, making their inner architecture and cognitive processes challenging to comprehend. We address this gap by adopting approaches to understanding emerging cognition in biology and developing a network-based framework that links cognitive skills, LLM architectures, and datasets, ushering in a paradigm shift in foundation model analysis. The skill distribution in the module communities demonstrates that while LLMs do not strictly parallel the focalized specialization observed in specific biological systems, they exhibit unique communities of modules whose emergent skill patterns partially mirror the distributed yet interconnected cognitive organization seen in avian and small mammalian brains. Our numerical results highlight a key divergence from biological systems to LLMs, where skill acquisition benefits substantially from dynamic, cross-regional interactions and neural plasticity. By integrating cognitive science principles with machine learning, our framework provides new insights into LLM interpretability and suggests that effective fine-tuning strategies should leverage distributed learning dynamics rather than rigid modular interventions.