Hiërarchische Frequentie-Tagging Sonde (HFTP): Een Uniforme Benadering om Syntactische Structuurrepresentaties te Onderzoeken in Grote Taalmodellen en het Menselijk Brein

Hierarchical Frequency Tagging Probe (HFTP): A Unified Approach to Investigate Syntactic Structure Representations in Large Language Models and the Human Brain

October 15, 2025

Auteurs: Jingmin An, Yilong Song, Ruolin Yang, Nai Ding, Lingxi Lu, Yuxuan Wang, Wei Wang, Chu Zhuang, Qian Wang, Fang Fang

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) vertonen menselijke of zelfs superieure taalvaardigheden en modelleren syntactische structuren effectief, maar de specifieke computationele modules die hiervoor verantwoordelijk zijn, blijven onduidelijk. Een belangrijke vraag is of het gedrag van LLMs voortkomt uit mechanismen die vergelijkbaar zijn met die in het menselijk brein. Om deze vragen te beantwoorden, introduceren we de Hierarchical Frequency Tagging Probe (HFTP), een tool die frequentiedomeinanalyse gebruikt om neuronale componenten van LLMs (bijvoorbeeld individuele Multilayer Perceptron (MLP)-neuronen) en corticale regio's (via intracraniële opnames) te identificeren die syntactische structuren coderen. Onze resultaten laten zien dat modellen zoals GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1 en GLM-4 syntaxis in analoge lagen verwerken, terwijl het menselijk brein voor verschillende syntactische niveaus afhankelijk is van afzonderlijke corticale regio's. Representational similarity analysis onthult een sterkere overeenkomst tussen LLM-representaties en de linkerhersenhelft (dominant in taalverwerking). Opvallend is dat geüpgradede modellen uiteenlopende trends vertonen: Gemma 2 toont een grotere gelijkenis met het brein dan Gemma, terwijl Llama 3.1 minder overeenstemming vertoont met het brein in vergelijking met Llama 2. Deze bevindingen bieden nieuwe inzichten in de interpreteerbaarheid van gedragsverbeteringen in LLMs en roepen vragen op over of deze vooruitgang wordt aangedreven door mensachtige of niet-mensachtige mechanismen. Daarnaast vestigt HFTP zich als een waardevol instrument dat computationele taalkunde en cognitieve neurowetenschappen verbindt. Dit project is beschikbaar op https://github.com/LilTiger/HFTP.

English

Large Language Models (LLMs) demonstrate human-level or even superior language abilities, effectively modeling syntactic structures, yet the specific computational modules responsible remain unclear. A key question is whether LLM behavioral capabilities stem from mechanisms akin to those in the human brain. To address these questions, we introduce the Hierarchical Frequency Tagging Probe (HFTP), a tool that utilizes frequency-domain analysis to identify neuron-wise components of LLMs (e.g., individual Multilayer Perceptron (MLP) neurons) and cortical regions (via intracranial recordings) encoding syntactic structures. Our results show that models such as GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1, and GLM-4 process syntax in analogous layers, while the human brain relies on distinct cortical regions for different syntactic levels. Representational similarity analysis reveals a stronger alignment between LLM representations and the left hemisphere of the brain (dominant in language processing). Notably, upgraded models exhibit divergent trends: Gemma 2 shows greater brain similarity than Gemma, while Llama 3.1 shows less alignment with the brain compared to Llama 2. These findings offer new insights into the interpretability of LLM behavioral improvements, raising questions about whether these advancements are driven by human-like or non-human-like mechanisms, and establish HFTP as a valuable tool bridging computational linguistics and cognitive neuroscience. This project is available at https://github.com/LilTiger/HFTP.