Atención en Sumidero en Transformadores: Una Revisión sobre Utilización, Interpretación y Mitigación
Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation
April 11, 2026
Autores: Zunhai Su, Hengyuan Zhang, Wei Wu, Yifan Zhang, Yaxiu Liu, He Xiao, Qingyao Yang, Yuxuan Sun, Rui Yang, Chao Zhang, Keyu Fan, Weihao Ye, Jing Xiong, Hui Shen, Chaofan Tao, Taiqiang Wu, Zhongwei Wan, Yulei Qian, Yuchen Xie, Ngai Wong
cs.AI
Resumen
Como arquitectura fundamental del aprendizaje automático moderno, los Transformers han impulsado avances notables en diversos dominios de la inteligencia artificial. A pesar de su impacto transformador, un desafío persistente en varias implementaciones de Transformers es el fenómeno del "Sumidero de Atención" (Attention Sink - AS), en el cual una cantidad desproporcionada de atención se concentra en un subconjunto reducido de tokens específicos pero no informativos. El AS complica la interpretabilidad, afecta significativamente la dinámica del entrenamiento y la inferencia, y exacerba problemas como las alucinaciones. En los últimos años, se ha dedicado una investigación sustancial a comprender y aprovechar el AS. Sin embargo, aún falta una revisión exhaustiva que consolide sistemáticamente la investigación relacionada con el AS y ofrezca orientación para avances futuros. Para abordar esta brecha, presentamos la primera revisión sistemática sobre el AS, estructurada en torno a tres dimensiones clave que definen el panorama actual de la investigación: Utilización Fundamental, Interpretación Mecanicista y Mitigación Estratégica. Nuestro trabajo representa una contribución pivotal al clarificar conceptos clave y guiar a los investigadores a través de la evolución y las tendencias del campo. Concebimos esta revisión como un recurso definitivo que capacite a investigadores y profesionales para gestionar eficazmente el AS dentro del paradigma actual de los Transformers, a la vez que inspire avances innovadores para la próxima generación de estas arquitecturas. La lista de artículos de este trabajo está disponible en https://github.com/ZunhaiSu/Awesome-Attention-Sink.
English
As the foundational architecture of modern machine learning, Transformers have driven remarkable progress across diverse AI domains. Despite their transformative impact, a persistent challenge across various Transformers is Attention Sink (AS), in which a disproportionate amount of attention is focused on a small subset of specific yet uninformative tokens. AS complicates interpretability, significantly affecting the training and inference dynamics, and exacerbates issues such as hallucinations. In recent years, substantial research has been dedicated to understanding and harnessing AS. However, a comprehensive survey that systematically consolidates AS-related research and offers guidance for future advancements remains lacking. To address this gap, we present the first survey on AS, structured around three key dimensions that define the current research landscape: Fundamental Utilization, Mechanistic Interpretation, and Strategic Mitigation. Our work provides a pivotal contribution by clarifying key concepts and guiding researchers through the evolution and trends of the field. We envision this survey as a definitive resource, empowering researchers and practitioners to effectively manage AS within the current Transformer paradigm, while simultaneously inspiring innovative advancements for the next generation of Transformers. The paper list of this work is available at https://github.com/ZunhaiSu/Awesome-Attention-Sink.