Sonda di Etichettatura Gerarchica delle Frequenze (HFTP): Un Approccio Unificato per Investigare le Rappresentazioni della Struttura Sintattica nei Modelli Linguistici su Larga Scala e nel Cervello Umano

Hierarchical Frequency Tagging Probe (HFTP): A Unified Approach to Investigate Syntactic Structure Representations in Large Language Models and the Human Brain

October 15, 2025

Autori: Jingmin An, Yilong Song, Ruolin Yang, Nai Ding, Lingxi Lu, Yuxuan Wang, Wei Wang, Chu Zhuang, Qian Wang, Fang Fang

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) dimostrano abilità linguistiche pari o superiori a quelle umane, modellando efficacemente le strutture sintattiche, sebbene i moduli computazionali specifici responsabili rimangano poco chiari. Una domanda chiave è se le capacità comportamentali degli LLM derivino da meccanismi simili a quelli presenti nel cervello umano. Per affrontare queste questioni, introduciamo la Sonda di Etichettatura Gerarchica in Frequenza (HFTP), uno strumento che utilizza l'analisi nel dominio della frequenza per identificare componenti a livello neuronale degli LLM (ad esempio, singoli neuroni di Perceptron Multistrato, MLP) e regioni corticali (tramite registrazioni intracraniche) che codificano strutture sintattiche. I nostri risultati mostrano che modelli come GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1 e GLM-4 elaborano la sintassi in strati analoghi, mentre il cervello umano si affida a regioni corticali distinte per diversi livelli sintattici. L'analisi di similarità rappresentazionale rivela una maggiore corrispondenza tra le rappresentazioni degli LLM e l'emisfero sinistro del cervello (dominante nell'elaborazione del linguaggio). In particolare, i modelli aggiornati mostrano tendenze divergenti: Gemma 2 presenta una maggiore somiglianza con il cervello rispetto a Gemma, mentre Llama 3.1 mostra una minore corrispondenza con il cervello rispetto a Llama 2. Questi risultati offrono nuove intuizioni sull'interpretabilità dei miglioramenti comportamentali degli LLM, sollevando interrogativi sul fatto che questi progressi siano guidati da meccanismi simili o diversi da quelli umani, e stabiliscono HFTP come uno strumento prezioso che collega la linguistica computazionale e le neuroscienze cognitive. Questo progetto è disponibile all'indirizzo https://github.com/LilTiger/HFTP.

English

Large Language Models (LLMs) demonstrate human-level or even superior language abilities, effectively modeling syntactic structures, yet the specific computational modules responsible remain unclear. A key question is whether LLM behavioral capabilities stem from mechanisms akin to those in the human brain. To address these questions, we introduce the Hierarchical Frequency Tagging Probe (HFTP), a tool that utilizes frequency-domain analysis to identify neuron-wise components of LLMs (e.g., individual Multilayer Perceptron (MLP) neurons) and cortical regions (via intracranial recordings) encoding syntactic structures. Our results show that models such as GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1, and GLM-4 process syntax in analogous layers, while the human brain relies on distinct cortical regions for different syntactic levels. Representational similarity analysis reveals a stronger alignment between LLM representations and the left hemisphere of the brain (dominant in language processing). Notably, upgraded models exhibit divergent trends: Gemma 2 shows greater brain similarity than Gemma, while Llama 3.1 shows less alignment with the brain compared to Llama 2. These findings offer new insights into the interpretability of LLM behavioral improvements, raising questions about whether these advancements are driven by human-like or non-human-like mechanisms, and establish HFTP as a valuable tool bridging computational linguistics and cognitive neuroscience. This project is available at https://github.com/LilTiger/HFTP.