대규모 언어 모델의 어텐션 헤드: 연구 동향 분석

Attention Heads of Large Language Models: A Survey

September 5, 2024

저자: Zifan Zheng, Yezhaohui Wang, Yuxin Huang, Shichao Song, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

초록

ChatGPT의 등장 이후 대규모 언어 모델(LLM)은 다양한 과제에서 뛰어난 성능을 보였으나, 여전히 대부분 블랙박스 시스템으로 남아 있습니다. 이로 인해 LLM 개발은 데이터 중심 접근법에 크게 의존하고 있어, 내부 아키텍처 및 추론 경로 변경을 통한 성능 향상이 제한되고 있습니다. 그 결과, 많은 연구자들이 LLM의 잠재적인 내부 메커니즘을 탐구하기 시작했으며, 그들의 추론 병목 현상의 본질을 규명하려는 노력의 대부분은 어텐션 헤드에 집중되고 있습니다. 본 설문 연구는 어텐션 헤드의 해석 가능성과 내재된 메커니즘에 초점을 맞춰 LLM의 내부 추론 과정을 조명하는 것을 목표로 합니다. 우리는 먼저 인간의 사고 과정을 '지식 회상', '문맥 내 식별', '잠재적 추론', '표현 준비'라는 네 단계 프레임워크로 정제합니다. 이 프레임워크를 활용하여 기존 연구를 체계적으로 검토하고 특정 어텐션 헤드의 기능을 식별 및 분류합니다. 더 나아가, 이러한 특수 헤드를 발견하는 데 사용된 실험 방법론을 '모델링 불필요' 방법과 '모델링 필요' 방법 두 가지 범주로 나누어 정리합니다. 또한 관련 평가 방법과 벤치마크를 개괄합니다. 마지막으로 현재 연구의 한계를 논의하고 향후 몇 가지 잠재적인 방향성을 제안합니다. 본 논문의 참고문헌 목록은 https://github.com/IAAR-Shanghai/Awesome-Attention-Heads 에서 공개하고 있습니다.

English

Since the advent of ChatGPT, Large Language Models (LLMs) have excelled in various tasks but remain largely as black-box systems. Consequently, their development relies heavily on data-driven approaches, limiting performance enhancement through changes in internal architecture and reasoning pathways. As a result, many researchers have begun exploring the potential internal mechanisms of LLMs, aiming to identify the essence of their reasoning bottlenecks, with most studies focusing on attention heads. Our survey aims to shed light on the internal reasoning processes of LLMs by concentrating on the interpretability and underlying mechanisms of attention heads. We first distill the human thought process into a four-stage framework: Knowledge Recalling, In-Context Identification, Latent Reasoning, and Expression Preparation. Using this framework, we systematically review existing research to identify and categorize the functions of specific attention heads. Furthermore, we summarize the experimental methodologies used to discover these special heads, dividing them into two categories: Modeling-Free methods and Modeling-Required methods. Also, we outline relevant evaluation methods and benchmarks. Finally, we discuss the limitations of current research and propose several potential future directions. Our reference list is open-sourced at https://github.com/IAAR-Shanghai/Awesome-Attention-Heads.