Atenção Residual em Transformers: Um Estudo sobre Utilização, Interpretação e Mitigação
Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation
April 11, 2026
Autores: Zunhai Su, Hengyuan Zhang, Wei Wu, Yifan Zhang, Yaxiu Liu, He Xiao, Qingyao Yang, Yuxuan Sun, Rui Yang, Chao Zhang, Keyu Fan, Weihao Ye, Jing Xiong, Hui Shen, Chaofan Tao, Taiqiang Wu, Zhongwei Wan, Yulei Qian, Yuchen Xie, Ngai Wong
cs.AI
Resumo
Como arquitetura fundamental do aprendizado de máquina moderno, os Transformers têm impulsionado progressos notáveis em diversos domínios da IA. Apesar de seu impacto transformador, um desafio persistente em várias arquiteturas Transformer é o Fenômeno de Atenção Residual (FAR), no qual uma quantidade desproporcional de atenção é concentrada em um pequeno subconjunto de tokens específicos, porém não informativos. O FAR complica a interpretabilidade, afeta significativamente a dinâmica de treinamento e inferência, e exacerba problemas como alucinações. Nos últimos anos, pesquisas substanciais têm se dedicado a compreender e aproveitar o FAR. No entanto, ainda falta um survey abrangente que consolide sistematicamente as pesquisas relacionadas ao FAR e ofereça orientações para avanços futuros. Para preencher essa lacuna, apresentamos o primeiro survey sobre FAR, estruturado em torno de três dimensões-chave que definem o panorama atual da pesquisa: Utilização Fundamental, Interpretação Mecanicista e Mitigação Estratégica. Nosso trabalho fornece uma contribuição pivotal ao esclarecer conceitos-chave e guiar pesquisadores através da evolução e tendências do campo. Vislumbramos este survey como um recurso definitivo, capacitando pesquisadores e profissionais a gerenciar efetivamente o FAR dentro do paradigma Transformer atual, enquanto inspira avanços inovadores para a próxima geração de Transformers. A lista de artigos deste trabalho está disponível em https://github.com/ZunhaiSu/Awesome-Attention-Sink.
English
As the foundational architecture of modern machine learning, Transformers have driven remarkable progress across diverse AI domains. Despite their transformative impact, a persistent challenge across various Transformers is Attention Sink (AS), in which a disproportionate amount of attention is focused on a small subset of specific yet uninformative tokens. AS complicates interpretability, significantly affecting the training and inference dynamics, and exacerbates issues such as hallucinations. In recent years, substantial research has been dedicated to understanding and harnessing AS. However, a comprehensive survey that systematically consolidates AS-related research and offers guidance for future advancements remains lacking. To address this gap, we present the first survey on AS, structured around three key dimensions that define the current research landscape: Fundamental Utilization, Mechanistic Interpretation, and Strategic Mitigation. Our work provides a pivotal contribution by clarifying key concepts and guiding researchers through the evolution and trends of the field. We envision this survey as a definitive resource, empowering researchers and practitioners to effectively manage AS within the current Transformer paradigm, while simultaneously inspiring innovative advancements for the next generation of Transformers. The paper list of this work is available at https://github.com/ZunhaiSu/Awesome-Attention-Sink.