Têtes d'Attention dans les Grands Modèles de Langage : Une Étude

Attention Heads of Large Language Models: A Survey

September 5, 2024

papers.authors: Zifan Zheng, Yezhaohui Wang, Yuxin Huang, Shichao Song, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

papers.abstract

Depuis l'avènement de ChatGPT, les grands modèles de langage (LLM) excellent dans diverses tâches mais restent largement des systèmes boîte noire. Par conséquent, leur développement repose essentiellement sur des approches fondées sur les données, limitant l'amélioration des performances par des modifications de l'architecture interne et des chemins de raisonnement. En conséquence, de nombreux chercheurs ont commencé à explorer les mécanismes internes potentiels des LLM, visant à identifier l'origine de leurs goulots d'étranglement raisonnés, la plupart des études se concentrant sur les têtes d'attention. Notre étude vise à éclairer les processus de raisonnement interne des LLM en se concentrant sur l'interprétabilité et les mécanismes sous-jacents des têtes d'attention. Nous distillons d'abord le processus de pensée humain en un cadre à quatre étapes : Rappel des Connaissances, Identification Contextuelle, Raisonnement Latent et Préparation de l'Expression. En utilisant ce cadre, nous passons systématiquement en revue les recherches existantes pour identifier et catégoriser les fonctions de têtes d'attention spécifiques. De plus, nous résumons les méthodologies expérimentales utilisées pour découvrir ces têtes spéciales, les divisant en deux catégories : méthodes sans modélisation et méthodes nécessitant une modélisation. Nous décrivons également les méthodes d'évaluation pertinentes et les benchmarks. Enfin, nous discutons des limites de la recherche actuelle et proposons plusieurs orientations futures potentielles. Notre bibliographie est open-source à l'adresse https://github.com/IAAR-Shanghai/Awesome-Attention-Heads.

English

Since the advent of ChatGPT, Large Language Models (LLMs) have excelled in various tasks but remain largely as black-box systems. Consequently, their development relies heavily on data-driven approaches, limiting performance enhancement through changes in internal architecture and reasoning pathways. As a result, many researchers have begun exploring the potential internal mechanisms of LLMs, aiming to identify the essence of their reasoning bottlenecks, with most studies focusing on attention heads. Our survey aims to shed light on the internal reasoning processes of LLMs by concentrating on the interpretability and underlying mechanisms of attention heads. We first distill the human thought process into a four-stage framework: Knowledge Recalling, In-Context Identification, Latent Reasoning, and Expression Preparation. Using this framework, we systematically review existing research to identify and categorize the functions of specific attention heads. Furthermore, we summarize the experimental methodologies used to discover these special heads, dividing them into two categories: Modeling-Free methods and Modeling-Required methods. Also, we outline relevant evaluation methods and benchmarks. Finally, we discuss the limitations of current research and propose several potential future directions. Our reference list is open-sourced at https://github.com/IAAR-Shanghai/Awesome-Attention-Heads.