階層的周波数タギングプローブ（HFTP）：大規模言語モデルと人間の脳における構文構造表現を探るための統合的アプローチ

要旨

大規模言語モデル（LLMs）は、人間と同等またはそれ以上の言語能力を示し、構文構造を効果的にモデル化しているが、その背後にある具体的な計算モジュールは未解明である。重要な疑問は、LLMの行動能力が人間の脳と類似したメカニズムに由来するかどうかである。これらの疑問に取り組むため、我々は階層的周波数タギングプローブ（HFTP）を導入した。このツールは、周波数領域解析を利用して、LLMのニューロンレベルの構成要素（例えば、個々の多層パーセプトロン（MLP）ニューロン）および構文構造を符号化する皮質領域（頭蓋内記録を通じて）を特定する。結果として、GPT-2、Gemma、Gemma 2、Llama 2、Llama 3.1、GLM-4などのモデルは、類似した層で構文を処理する一方、人間の脳は異なる構文レベルに対して異なる皮質領域に依存していることが示された。表現的類似性分析により、LLMの表現と脳の左半球（言語処理において優位）との間に強い整合性が明らかになった。特に、アップグレードされたモデルでは異なる傾向が見られ、Gemma 2はGemmaよりも脳との類似性が高く、Llama 3.1はLlama 2と比較して脳との整合性が低いことが確認された。これらの発見は、LLMの行動改善の解釈可能性に関する新たな洞察を提供し、これらの進歩が人間的なメカニズムによるものか、非人間的なメカニズムによるものかという疑問を提起するとともに、HFTPを計算言語学と認知神経科学を橋渡しする貴重なツールとして確立するものである。本プロジェクトはhttps://github.com/LilTiger/HFTPで公開されている。

English

Large Language Models (LLMs) demonstrate human-level or even superior language abilities, effectively modeling syntactic structures, yet the specific computational modules responsible remain unclear. A key question is whether LLM behavioral capabilities stem from mechanisms akin to those in the human brain. To address these questions, we introduce the Hierarchical Frequency Tagging Probe (HFTP), a tool that utilizes frequency-domain analysis to identify neuron-wise components of LLMs (e.g., individual Multilayer Perceptron (MLP) neurons) and cortical regions (via intracranial recordings) encoding syntactic structures. Our results show that models such as GPT-2, Gemma, Gemma 2, Llama 2, Llama 3.1, and GLM-4 process syntax in analogous layers, while the human brain relies on distinct cortical regions for different syntactic levels. Representational similarity analysis reveals a stronger alignment between LLM representations and the left hemisphere of the brain (dominant in language processing). Notably, upgraded models exhibit divergent trends: Gemma 2 shows greater brain similarity than Gemma, while Llama 3.1 shows less alignment with the brain compared to Llama 2. These findings offer new insights into the interpretability of LLM behavioral improvements, raising questions about whether these advancements are driven by human-like or non-human-like mechanisms, and establish HFTP as a valuable tool bridging computational linguistics and cognitive neuroscience. This project is available at https://github.com/LilTiger/HFTP.

階層的周波数タギングプローブ（HFTP）：大規模言語モデルと人間の脳における構文構造表現を探るための統合的アプローチ

Hierarchical Frequency Tagging Probe (HFTP): A Unified Approach to Investigate Syntactic Structure Representations in Large Language Models and the Human Brain

要旨

Support