Иерархический зонд частотной маркировки (HFTP): Унифицированный подход к исследованию представлений синтаксической структуры в больших языковых моделях и человеческом мозге

Аннотация

Крупные языковые модели (LLM) демонстрируют языковые способности на уровне человека или даже превосходящие его, эффективно моделируя синтаксические структуры, однако конкретные вычислительные модули, ответственные за это, остаются неясными. Ключевой вопрос заключается в том, обусловлены ли поведенческие возможности LLM механизмами, схожими с теми, что используются в человеческом мозге. Для решения этих вопросов мы представляем зонд иерархической частотной маркировки (HFTP) — инструмент, который использует анализ в частотной области для идентификации компонентов LLM на уровне нейронов (например, отдельных нейронов многослойного перцептрона (MLP)) и корковых областей (с помощью внутричерепных записей), кодирующих синтаксические структуры. Наши результаты показывают, что модели, такие как GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1 и GLM-4, обрабатывают синтаксис в аналогичных слоях, тогда как человеческий мозг полагается на различные корковые области для разных уровней синтаксиса. Анализ сходства представлений выявляет более сильное соответствие между представлениями LLM и левым полушарием мозга (доминирующим в обработке языка). Примечательно, что усовершенствованные модели демонстрируют различные тенденции: Gemma 2 показывает большее сходство с мозгом, чем Gemma, тогда как Llama 3.1 меньше соответствует мозгу по сравнению с Llama 2. Эти результаты предлагают новые взгляды на интерпретируемость улучшений поведенческих характеристик LLM, поднимая вопросы о том, обусловлены ли эти улучшения механизмами, схожими с человеческими, или иными, и устанавливают HFTP как ценный инструмент, связывающий вычислительную лингвистику и когнитивную нейронауку. Проект доступен по адресу https://github.com/LilTiger/HFTP.

English

Large Language Models (LLMs) demonstrate human-level or even superior language abilities, effectively modeling syntactic structures, yet the specific computational modules responsible remain unclear. A key question is whether LLM behavioral capabilities stem from mechanisms akin to those in the human brain. To address these questions, we introduce the Hierarchical Frequency Tagging Probe (HFTP), a tool that utilizes frequency-domain analysis to identify neuron-wise components of LLMs (e.g., individual Multilayer Perceptron (MLP) neurons) and cortical regions (via intracranial recordings) encoding syntactic structures. Our results show that models such as GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1, and GLM-4 process syntax in analogous layers, while the human brain relies on distinct cortical regions for different syntactic levels. Representational similarity analysis reveals a stronger alignment between LLM representations and the left hemisphere of the brain (dominant in language processing). Notably, upgraded models exhibit divergent trends: Gemma 2 shows greater brain similarity than Gemma, while Llama 3.1 shows less alignment with the brain compared to Llama 2. These findings offer new insights into the interpretability of LLM behavioral improvements, raising questions about whether these advancements are driven by human-like or non-human-like mechanisms, and establish HFTP as a valuable tool bridging computational linguistics and cognitive neuroscience. This project is available at https://github.com/LilTiger/HFTP.

Hierarchical Frequency Tagging Probe (HFTP): A Unified Approach to Investigate Syntactic Structure Representations in Large Language Models and the Human Brain

Аннотация

Support