Aufmerksamkeitsköpfe großer Sprachmodelle: Ein Überblick

Attention Heads of Large Language Models: A Survey

September 5, 2024

papers.authors: Zifan Zheng, Yezhaohui Wang, Yuxin Huang, Shichao Song, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

papers.abstract

Seit dem Aufkommen von ChatGPT haben Large Language Models (LLMs) bei verschiedenen Aufgaben hervorragende Leistungen erbracht, bleiben jedoch weitgehend Blackbox-Systeme. Folglich stützt sich ihre Entwicklung stark auf datengetriebene Ansätze, was Leistungssteigerungen durch Änderungen an der internen Architektur und Denkpfaden begrenzt. Infolgedessen haben viele Forscher begonnen, die potenziellen internen Mechanismen von LLMs zu erforschen, um die Ursachen ihrer Denkengpässe zu identifizieren, wobei sich die meisten Studien auf Aufmerksamkeitsköpfe (Attention Heads) konzentrieren. Unser Übersichtsartikel zielt darauf ab, die internen Denkprozesse von LLMs zu beleuchten, indem wir uns auf die Interpretierbarkeit und zugrundeliegenden Mechanismen von Aufmerksamkeitsköpfen konzentrieren. Wir destillieren zunächst den menschlichen Denkprozess in einen Vier-Phasen-Rahmen: Wissensabruf, In-Context-Identifikation, latentes Schließen und Ausdrucksvorbereitung. Anhand dieses Rahmens systematisiert unsere Arbeit bestehende Forschung, um die Funktionen spezifischer Aufmerksamkeitsköpfe zu identifizieren und zu kategorisieren. Darüber hinaus fassen wir die experimentellen Methoden zusammen, die zur Entdeckung dieser speziellen Köpfe verwendet werden, und unterteilen sie in zwei Kategorien: modellfreie Methoden und modellbasierte Methoden. Zudem skizzieren wir relevante Evaluierungsmethoden und Benchmarks. Abschließend diskutieren wir die Grenzen der aktuellen Forschung und schlagen mehrere potenzielle Zukunftsrichtungen vor. Unsere Referenzliste ist unter https://github.com/IAAR-Shanghai/Awesome-Attention-Heads open-source verfügbar.

English

Since the advent of ChatGPT, Large Language Models (LLMs) have excelled in various tasks but remain largely as black-box systems. Consequently, their development relies heavily on data-driven approaches, limiting performance enhancement through changes in internal architecture and reasoning pathways. As a result, many researchers have begun exploring the potential internal mechanisms of LLMs, aiming to identify the essence of their reasoning bottlenecks, with most studies focusing on attention heads. Our survey aims to shed light on the internal reasoning processes of LLMs by concentrating on the interpretability and underlying mechanisms of attention heads. We first distill the human thought process into a four-stage framework: Knowledge Recalling, In-Context Identification, Latent Reasoning, and Expression Preparation. Using this framework, we systematically review existing research to identify and categorize the functions of specific attention heads. Furthermore, we summarize the experimental methodologies used to discover these special heads, dividing them into two categories: Modeling-Free methods and Modeling-Required methods. Also, we outline relevant evaluation methods and benchmarks. Finally, we discuss the limitations of current research and propose several potential future directions. Our reference list is open-sourced at https://github.com/IAAR-Shanghai/Awesome-Attention-Heads.