Hierarchical Frequency Tagging Probe (HFTP): Ein einheitlicher Ansatz zur Untersuchung von Repräsentationen syntaktischer Strukturen in großen Sprachmodellen und im menschlichen Gehirn

Hierarchical Frequency Tagging Probe (HFTP): A Unified Approach to Investigate Syntactic Structure Representations in Large Language Models and the Human Brain

October 15, 2025

papers.authors: Jingmin An, Yilong Song, Ruolin Yang, Nai Ding, Lingxi Lu, Yuxuan Wang, Wei Wang, Chu Zhuang, Qian Wang, Fang Fang

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) demonstrieren menschenähnliche oder sogar überlegene Sprachfähigkeiten und modellieren effektiv syntaktische Strukturen, doch die spezifischen Rechenmodule, die dafür verantwortlich sind, bleiben unklar. Eine zentrale Frage ist, ob die Verhaltensfähigkeiten von LLMs auf Mechanismen beruhen, die denen im menschlichen Gehirn ähneln. Um diese Fragen zu adressieren, führen wir die Hierarchical Frequency Tagging Probe (HFTP) ein, ein Werkzeug, das Frequenzbereichsanalysen nutzt, um neuronale Komponenten von LLMs (z. B. einzelne Multilayer-Perceptron-(MLP)-Neuronen) und kortikale Regionen (mittels intrakranieller Aufzeichnungen) zu identifizieren, die syntaktische Strukturen kodieren. Unsere Ergebnisse zeigen, dass Modelle wie GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1 und GLM-4 Syntax in analogen Schichten verarbeiten, während das menschliche Gehirn auf unterschiedliche kortikale Regionen für verschiedene syntaktische Ebenen zurückgreift. Repräsentationsähnlichkeitsanalysen offenbaren eine stärkere Übereinstimmung zwischen den Repräsentationen von LLMs und der linken Gehirnhälfte (dominant in der Sprachverarbeitung). Bemerkenswerterweise zeigen aktualisierte Modelle divergierende Trends: Gemma 2 weist eine größere Ähnlichkeit zum Gehirn auf als Gemma, während Llama 3.1 im Vergleich zu Llama 2 eine geringere Übereinstimmung mit dem Gehirn zeigt. Diese Erkenntnisse bieten neue Einblicke in die Interpretierbarkeit von Verhaltensverbesserungen bei LLMs und werfen die Frage auf, ob diese Fortschritte durch menschenähnliche oder nicht-menschenähnliche Mechanismen angetrieben werden. Zudem etabliert die HFTP sich als wertvolles Werkzeug, das Computerlinguistik und kognitive Neurowissenschaften verbindet. Dieses Projekt ist verfügbar unter https://github.com/LilTiger/HFTP.

English

Large Language Models (LLMs) demonstrate human-level or even superior language abilities, effectively modeling syntactic structures, yet the specific computational modules responsible remain unclear. A key question is whether LLM behavioral capabilities stem from mechanisms akin to those in the human brain. To address these questions, we introduce the Hierarchical Frequency Tagging Probe (HFTP), a tool that utilizes frequency-domain analysis to identify neuron-wise components of LLMs (e.g., individual Multilayer Perceptron (MLP) neurons) and cortical regions (via intracranial recordings) encoding syntactic structures. Our results show that models such as GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1, and GLM-4 process syntax in analogous layers, while the human brain relies on distinct cortical regions for different syntactic levels. Representational similarity analysis reveals a stronger alignment between LLM representations and the left hemisphere of the brain (dominant in language processing). Notably, upgraded models exhibit divergent trends: Gemma 2 shows greater brain similarity than Gemma, while Llama 3.1 shows less alignment with the brain compared to Llama 2. These findings offer new insights into the interpretability of LLM behavioral improvements, raising questions about whether these advancements are driven by human-like or non-human-like mechanisms, and establish HFTP as a valuable tool bridging computational linguistics and cognitive neuroscience. This project is available at https://github.com/LilTiger/HFTP.