Attention Sink dans les Transformers : Une Étude sur l'Utilisation, l'Interprétation et l'Atténuation
Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation
April 11, 2026
Auteurs: Zunhai Su, Hengyuan Zhang, Wei Wu, Yifan Zhang, Yaxiu Liu, He Xiao, Qingyao Yang, Yuxuan Sun, Rui Yang, Chao Zhang, Keyu Fan, Weihao Ye, Jing Xiong, Hui Shen, Chaofan Tao, Taiqiang Wu, Zhongwei Wan, Yulei Qian, Yuchen Xie, Ngai Wong
cs.AI
Résumé
En tant qu'architecture fondamentale de l'apprentissage automatique moderne, les Transformers ont propulsé des progrès remarquables dans divers domaines de l'IA. Malgré leur impact transformationnel, un défi persistant au sein de diverses architectures Transformer est le phénomène de « Point d'Attraction » de l'Attention (Attention Sink - AS), où une quantité disproportionnée d'attention se concentre sur un petit sous-ensemble de tokens spécifiques mais non informatifs. L'AS complique l'interprétabilité, affecte significativement la dynamique de l'entraînement et de l'inférence, et exacerbe des problèmes tels que les hallucinations. Ces dernières années, des recherches substantielles ont été consacrées à la compréhension et à l'exploitation de l'AS. Cependant, il manque encore une étude complète qui consolide systématiquement les recherches liées à l'AS et offre des orientations pour les progrès futurs. Pour combler cette lacune, nous présentons la première étude sur l'AS, structurée autour de trois dimensions clés qui définissent le paysage de recherche actuel : l'Utilisation Fondamentale, l'Interprétation Mécanistique et l'Atténuation Stratégique. Notre travail apporte une contribution essentielle en clarifiant les concepts clés et en guidant les chercheurs à travers l'évolution et les tendances du domaine. Nous envisageons cette étude comme une ressource définitive, permettant aux chercheurs et aux praticiens de gérer efficacement l'AS dans le paradigme actuel des Transformers, tout en inspirant des avancées innovantes pour la prochaine génération de Transformers. La liste des articles de ce travail est disponible à l'adresse https://github.com/ZunhaiSu/Awesome-Attention-Sink.
English
As the foundational architecture of modern machine learning, Transformers have driven remarkable progress across diverse AI domains. Despite their transformative impact, a persistent challenge across various Transformers is Attention Sink (AS), in which a disproportionate amount of attention is focused on a small subset of specific yet uninformative tokens. AS complicates interpretability, significantly affecting the training and inference dynamics, and exacerbates issues such as hallucinations. In recent years, substantial research has been dedicated to understanding and harnessing AS. However, a comprehensive survey that systematically consolidates AS-related research and offers guidance for future advancements remains lacking. To address this gap, we present the first survey on AS, structured around three key dimensions that define the current research landscape: Fundamental Utilization, Mechanistic Interpretation, and Strategic Mitigation. Our work provides a pivotal contribution by clarifying key concepts and guiding researchers through the evolution and trends of the field. We envision this survey as a definitive resource, empowering researchers and practitioners to effectively manage AS within the current Transformer paradigm, while simultaneously inspiring innovative advancements for the next generation of Transformers. The paper list of this work is available at https://github.com/ZunhaiSu/Awesome-Attention-Sink.