Aandachtskoppen in Grote Taalmodellen: Een Overzicht

Attention Heads of Large Language Models: A Survey

September 5, 2024

Auteurs: Zifan Zheng, Yezhaohui Wang, Yuxin Huang, Shichao Song, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

Samenvatting

Sinds de opkomst van ChatGPT hebben grote taalmodelen (LLM's) uitmuntende prestaties geleverd in diverse taken, maar blijven ze grotendeels black-box-systemen. Hierdoor is hun ontwikkeling sterk afhankelijk van data-gedreven benaderingen, wat prestatieverbetering via wijzigingen in interne architectuur en redeneerpaden beperkt. Als gevolg daarvan zijn veel onderzoekers begonnen met het verkennen van de mogelijke interne mechanismen van LLM's, met als doel de essentie van hun redeneerknelpunten te identificeren, waarbij de meeste studies zich richten op aandachtshoofden. Onze overzichtsstudie beoogt inzicht te geven in de interne redeneerprocessen van LLM's door te focussen op de interpreteerbaarheid en onderliggende mechanismen van aandachtshoofden. We destilleren eerst het menselijke denkproces tot een raamwerk van vier fasen: Kennis Ophalen, In-Context Identificatie, Latent Redeneren en Expressie Voorbereiding. Met dit raamwerk systematisch evalueren we bestaand onderzoek om functies van specifieke aandachtshoofden te identificeren en categoriseren. Verder vatten we de gebruikte experimentele methodologieën samen voor het ontdekken van deze speciale hoofden, onderverdeeld in twee categorieën: Modelvrije methoden en Modelvereiste methoden. Tevens schetsen we relevante evaluatiemethoden en benchmarks. Tot slot bespreken we de beperkingen van huidig onderzoek en doen we enkele suggesties voor toekomstige onderzoeksrichtingen. Onze referentielijst is openbaar beschikbaar op https://github.com/IAAR-Shanghai/Awesome-Attention-Heads.

English

Since the advent of ChatGPT, Large Language Models (LLMs) have excelled in various tasks but remain largely as black-box systems. Consequently, their development relies heavily on data-driven approaches, limiting performance enhancement through changes in internal architecture and reasoning pathways. As a result, many researchers have begun exploring the potential internal mechanisms of LLMs, aiming to identify the essence of their reasoning bottlenecks, with most studies focusing on attention heads. Our survey aims to shed light on the internal reasoning processes of LLMs by concentrating on the interpretability and underlying mechanisms of attention heads. We first distill the human thought process into a four-stage framework: Knowledge Recalling, In-Context Identification, Latent Reasoning, and Expression Preparation. Using this framework, we systematically review existing research to identify and categorize the functions of specific attention heads. Furthermore, we summarize the experimental methodologies used to discover these special heads, dividing them into two categories: Modeling-Free methods and Modeling-Required methods. Also, we outline relevant evaluation methods and benchmarks. Finally, we discuss the limitations of current research and propose several potential future directions. Our reference list is open-sourced at https://github.com/IAAR-Shanghai/Awesome-Attention-Heads.