Sonda de Marcação Hierárquica de Frequência (HFTP): Uma Abordagem Unificada para Investigar Representações de Estrutura Sintática em Modelos de Linguagem de Grande Escala e no Cérebro Humano

Hierarchical Frequency Tagging Probe (HFTP): A Unified Approach to Investigate Syntactic Structure Representations in Large Language Models and the Human Brain

October 15, 2025

Autores: Jingmin An, Yilong Song, Ruolin Yang, Nai Ding, Lingxi Lu, Yuxuan Wang, Wei Wang, Chu Zhuang, Qian Wang, Fang Fang

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) demonstram habilidades linguísticas em nível humano ou até superior, modelando efetivamente estruturas sintáticas, embora os módulos computacionais específicos responsáveis permaneçam obscuros. Uma questão fundamental é se as capacidades comportamentais dos LLMs derivam de mecanismos semelhantes aos do cérebro humano. Para abordar essas questões, introduzimos a Sonda de Marcação Hierárquica de Frequência (HFTP), uma ferramenta que utiliza análise no domínio da frequência para identificar componentes neuronais dos LLMs (por exemplo, neurônios individuais de Perceptrons Multicamadas (MLPs)) e regiões corticais (via gravações intracranianas) que codificam estruturas sintáticas. Nossos resultados mostram que modelos como GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1 e GLM-4 processam sintaxe em camadas análogas, enquanto o cérebro humano depende de regiões corticais distintas para diferentes níveis sintáticos. A análise de similaridade representacional revela um alinhamento mais forte entre as representações dos LLMs e o hemisfério esquerdo do cérebro (dominante no processamento de linguagem). Notavelmente, modelos atualizados exibem tendências divergentes: Gemma 2 mostra maior similaridade cerebral do que Gemma, enquanto Llama 3.1 mostra menos alinhamento com o cérebro em comparação com Llama 2. Essas descobertas oferecem novos insights sobre a interpretabilidade das melhorias comportamentais dos LLMs, levantando questões sobre se esses avanços são impulsionados por mecanismos semelhantes ou não aos humanos, e estabelecem a HFTP como uma ferramenta valiosa que une linguística computacional e neurociência cognitiva. Este projeto está disponível em https://github.com/LilTiger/HFTP.

English

Large Language Models (LLMs) demonstrate human-level or even superior language abilities, effectively modeling syntactic structures, yet the specific computational modules responsible remain unclear. A key question is whether LLM behavioral capabilities stem from mechanisms akin to those in the human brain. To address these questions, we introduce the Hierarchical Frequency Tagging Probe (HFTP), a tool that utilizes frequency-domain analysis to identify neuron-wise components of LLMs (e.g., individual Multilayer Perceptron (MLP) neurons) and cortical regions (via intracranial recordings) encoding syntactic structures. Our results show that models such as GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1, and GLM-4 process syntax in analogous layers, while the human brain relies on distinct cortical regions for different syntactic levels. Representational similarity analysis reveals a stronger alignment between LLM representations and the left hemisphere of the brain (dominant in language processing). Notably, upgraded models exhibit divergent trends: Gemma 2 shows greater brain similarity than Gemma, while Llama 3.1 shows less alignment with the brain compared to Llama 2. These findings offer new insights into the interpretability of LLM behavioral improvements, raising questions about whether these advancements are driven by human-like or non-human-like mechanisms, and establish HFTP as a valuable tool bridging computational linguistics and cognitive neuroscience. This project is available at https://github.com/LilTiger/HFTP.