大規模言語モデルのアテンションヘッド：サーベイ

Attention Heads of Large Language Models: A Survey

September 5, 2024

著者: Zifan Zheng, Yezhaohui Wang, Yuxin Huang, Shichao Song, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

要旨

ChatGPTの登場以来、大規模言語モデル（LLM）は様々なタスクで優れた性能を発揮しているものの、その多くは依然としてブラックボックス的なシステムである。このため、LLMの開発はデータ駆動型アプローチに大きく依存しており、内部アーキテクチャや推論経路の変更による性能向上には限界がある。この状況を受けて、多くの研究者がLLMの潜在的な内部メカニズムの解明に乗り出し、推論のボトルネックの本質を特定しようとしており、その大部分の研究はアテンションヘッドに焦点を当てている。本サーベイ論文は、アテンションヘッドの解釈性と基礎メカニズムに着目することで、LLMの内部推論プロセスに光を当てることを目的とする。まず我々は人間の思考プロセスを「知識想起」「文脈内特定」「潜在推論」「表現準備」という4段階のフレームワークに整理した。このフレームワークに基づき、既存研究を体系的にレビューし、特定のアテンションヘッドの機能を同定・分類する。さらに、これらの特殊なヘッドを発見するために用いられる実験手法を「モデリング不要手法」と「モデリング必要手法」の2つに分類してまとめる。また、関連する評価手法とベンチマークについても概説する。最後に、現在の研究の限界を議論し、将来の潜在的な研究方向性を提案する。参考文献リストはhttps://github.com/IAAR-Shanghai/Awesome-Attention-Headsで公開している。

English

Since the advent of ChatGPT, Large Language Models (LLMs) have excelled in various tasks but remain largely as black-box systems. Consequently, their development relies heavily on data-driven approaches, limiting performance enhancement through changes in internal architecture and reasoning pathways. As a result, many researchers have begun exploring the potential internal mechanisms of LLMs, aiming to identify the essence of their reasoning bottlenecks, with most studies focusing on attention heads. Our survey aims to shed light on the internal reasoning processes of LLMs by concentrating on the interpretability and underlying mechanisms of attention heads. We first distill the human thought process into a four-stage framework: Knowledge Recalling, In-Context Identification, Latent Reasoning, and Expression Preparation. Using this framework, we systematically review existing research to identify and categorize the functions of specific attention heads. Furthermore, we summarize the experimental methodologies used to discover these special heads, dividing them into two categories: Modeling-Free methods and Modeling-Required methods. Also, we outline relevant evaluation methods and benchmarks. Finally, we discuss the limitations of current research and propose several potential future directions. Our reference list is open-sourced at https://github.com/IAAR-Shanghai/Awesome-Attention-Heads.