Sonda Jerárquica de Etiquetado de Frecuencia (HFTP): Un Enfoque Unificado para Investigar las Representaciones de Estructura Sintáctica en Modelos de Lenguaje a Gran Escala y el Cerebro Humano

Hierarchical Frequency Tagging Probe (HFTP): A Unified Approach to Investigate Syntactic Structure Representations in Large Language Models and the Human Brain

October 15, 2025

Autores: Jingmin An, Yilong Song, Ruolin Yang, Nai Ding, Lingxi Lu, Yuxuan Wang, Wei Wang, Chu Zhuang, Qian Wang, Fang Fang

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) demuestran habilidades lingüísticas a nivel humano o incluso superiores, modelando eficazmente estructuras sintácticas, aunque los módulos computacionales específicos responsables de ello siguen sin estar claros. Una pregunta clave es si las capacidades conductuales de los LLMs surgen de mecanismos similares a los del cerebro humano. Para abordar estas cuestiones, presentamos la Sonda de Etiquetado de Frecuencia Jerárquica (HFTP, por sus siglas en inglés), una herramienta que utiliza análisis en el dominio de la frecuencia para identificar componentes neuronales de los LLMs (por ejemplo, neuronas individuales de Perceptrones Multicapa (MLP)) y regiones corticales (a través de grabaciones intracraneales) que codifican estructuras sintácticas. Nuestros resultados muestran que modelos como GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1 y GLM-4 procesan la sintaxis en capas análogas, mientras que el cerebro humano depende de regiones corticales distintas para diferentes niveles sintácticos. El análisis de similitud representacional revela una alineación más fuerte entre las representaciones de los LLMs y el hemisferio izquierdo del cerebro (dominante en el procesamiento del lenguaje). Notablemente, los modelos actualizados exhiben tendencias divergentes: Gemma 2 muestra una mayor similitud con el cerebro que Gemma, mientras que Llama 3.1 muestra menos alineación con el cerebro en comparación con Llama 2. Estos hallazgos ofrecen nuevas perspectivas sobre la interpretabilidad de las mejoras conductuales de los LLMs, planteando preguntas sobre si estos avances están impulsados por mecanismos similares o no a los humanos, y establecen a HFTP como una herramienta valiosa que conecta la lingüística computacional y la neurociencia cognitiva. Este proyecto está disponible en https://github.com/LilTiger/HFTP.

English

Large Language Models (LLMs) demonstrate human-level or even superior language abilities, effectively modeling syntactic structures, yet the specific computational modules responsible remain unclear. A key question is whether LLM behavioral capabilities stem from mechanisms akin to those in the human brain. To address these questions, we introduce the Hierarchical Frequency Tagging Probe (HFTP), a tool that utilizes frequency-domain analysis to identify neuron-wise components of LLMs (e.g., individual Multilayer Perceptron (MLP) neurons) and cortical regions (via intracranial recordings) encoding syntactic structures. Our results show that models such as GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1, and GLM-4 process syntax in analogous layers, while the human brain relies on distinct cortical regions for different syntactic levels. Representational similarity analysis reveals a stronger alignment between LLM representations and the left hemisphere of the brain (dominant in language processing). Notably, upgraded models exhibit divergent trends: Gemma 2 shows greater brain similarity than Gemma, while Llama 3.1 shows less alignment with the brain compared to Llama 2. These findings offer new insights into the interpretability of LLM behavioral improvements, raising questions about whether these advancements are driven by human-like or non-human-like mechanisms, and establish HFTP as a valuable tool bridging computational linguistics and cognitive neuroscience. This project is available at https://github.com/LilTiger/HFTP.