Teste di Attenzione nei Grandi Modelli Linguistici: Una Rassegna

Attention Heads of Large Language Models: A Survey

September 5, 2024

Autori: Zifan Zheng, Yezhaohui Wang, Yuxin Huang, Shichao Song, Bo Tang, Feiyu Xiong, Zhiyu Li

cs.AI

Abstract

Dall'avvento di ChatGPT, i Large Language Model (LLM) si sono dimostrati eccellenti in vari compiti, ma rimangono prevalentemente sistemi "black-box". Di conseguenza, il loro sviluppo si basa fortemente su approcci guidati dai dati, limitando il miglioramento delle prestazioni attraverso modifiche all'architettura interna e ai percorsi di ragionamento. Pertanto, molti ricercatori hanno iniziato a esplorare i potenziali meccanismi interni dei LLM, con l'obiettivo di identificare l'essenza dei loro colli di bottiglia nel ragionamento, concentrandosi per lo più sulle teste di attenzione (attention heads). La nostra survey mira a far luce sui processi di ragionamento interni dei LLM concentrandosi sull'interpretabilità e sui meccanismi sottostanti delle teste di attenzione. Inizialmente, distilliamo il processo del pensiero umano in un framework a quattro stadi: Recupero della Conoscenza, Identificazione In-Contesto, Ragionamento Latente e Preparazione dell'Espressione. Utilizzando questo framework, esaminiamo sistematicamente la ricerca esistente per identificare e categorizzare le funzioni di specifiche teste di attenzione. Inoltre, riassumiamo le metodologie sperimentali utilizzate per scoprire queste teste speciali, suddividendole in due categorie: metodi Modeling-Free e metodi Modeling-Required. Descriviamo anche i relativi metodi di valutazione e benchmark. Infine, discutiamo i limiti della ricerca attuale e proponiamo diverse direzioni future potenziali. La nostra lista di riferimenti è open-source all'indirizzo https://github.com/IAAR-Shanghai/Awesome-Attention-Heads.

English

Since the advent of ChatGPT, Large Language Models (LLMs) have excelled in various tasks but remain largely as black-box systems. Consequently, their development relies heavily on data-driven approaches, limiting performance enhancement through changes in internal architecture and reasoning pathways. As a result, many researchers have begun exploring the potential internal mechanisms of LLMs, aiming to identify the essence of their reasoning bottlenecks, with most studies focusing on attention heads. Our survey aims to shed light on the internal reasoning processes of LLMs by concentrating on the interpretability and underlying mechanisms of attention heads. We first distill the human thought process into a four-stage framework: Knowledge Recalling, In-Context Identification, Latent Reasoning, and Expression Preparation. Using this framework, we systematically review existing research to identify and categorize the functions of specific attention heads. Furthermore, we summarize the experimental methodologies used to discover these special heads, dividing them into two categories: Modeling-Free methods and Modeling-Required methods. Also, we outline relevant evaluation methods and benchmarks. Finally, we discuss the limitations of current research and propose several potential future directions. Our reference list is open-sourced at https://github.com/IAAR-Shanghai/Awesome-Attention-Heads.