Aandachtsput in Transformers: Een overzicht van gebruik, interpretatie en beperking
Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation
April 11, 2026
Auteurs: Zunhai Su, Hengyuan Zhang, Wei Wu, Yifan Zhang, Yaxiu Liu, He Xiao, Qingyao Yang, Yuxuan Sun, Rui Yang, Chao Zhang, Keyu Fan, Weihao Ye, Jing Xiong, Hui Shen, Chaofan Tao, Taiqiang Wu, Zhongwei Wan, Yulei Qian, Yuchen Xie, Ngai Wong
cs.AI
Samenvatting
Als fundamentele architectuur van modern machinaal leren hebben Transformers opmerkelijke vooruitgang geboekt in diverse AI-domeinen. Ondanks hun transformerende impact vormt Attention Sink (AS) een hardnekkige uitdaging bij verschillende Transformers, waarbij een onevenredige hoeveelheid aandacht wordt gericht op een kleine subset van specifieke maar niet-informatieve tokens. AS bemoeilijkt de interpreteerbaarheid, beïnvloedt de trainings- en inferentiedynamiek aanzienlijk en verergert problemen zoals hallucinaties. De afgelopen jaren is aanzienlijk onderzoek gewijd aan het begrijpen en benutten van AS. Er ontbreekt echter nog steeds een uitgebreid overzicht dat AS-gerelateerd onderzoek systematisch consolideert en richtlijnen biedt voor toekomstige ontwikkelingen. Om deze leemte op te vullen, presenteren wij de eerste survey over AS, gestructureerd rond drie kernaspecten die het huidige onderzoekslandschap definiëren: Fundamenteel Gebruik, Mechanistische Interpretatie en Strategische Mitigatie. Ons werk levert een cruciale bijdrage door kernconcepten te verduidelijken en onderzoekers te begeleiden door de evolutie en trends van het vakgebied. Wij zien deze survey als een definitieve bron die onderzoekers en praktijkmensen in staat stelt AS effectief te beheren binnen het huidige Transformer-paradigma, terwijl het tegelijkertijd innovatieve vooruitgang inspireert voor de volgende generatie Transformers. De papierenlijst van dit werk is beschikbaar op https://github.com/ZunhaiSu/Awesome-Attention-Sink.
English
As the foundational architecture of modern machine learning, Transformers have driven remarkable progress across diverse AI domains. Despite their transformative impact, a persistent challenge across various Transformers is Attention Sink (AS), in which a disproportionate amount of attention is focused on a small subset of specific yet uninformative tokens. AS complicates interpretability, significantly affecting the training and inference dynamics, and exacerbates issues such as hallucinations. In recent years, substantial research has been dedicated to understanding and harnessing AS. However, a comprehensive survey that systematically consolidates AS-related research and offers guidance for future advancements remains lacking. To address this gap, we present the first survey on AS, structured around three key dimensions that define the current research landscape: Fundamental Utilization, Mechanistic Interpretation, and Strategic Mitigation. Our work provides a pivotal contribution by clarifying key concepts and guiding researchers through the evolution and trends of the field. We envision this survey as a definitive resource, empowering researchers and practitioners to effectively manage AS within the current Transformer paradigm, while simultaneously inspiring innovative advancements for the next generation of Transformers. The paper list of this work is available at https://github.com/ZunhaiSu/Awesome-Attention-Sink.