Aufmerksamkeitssenken in Transformern: Eine Übersicht zu Nutzung, Interpretation und Minderung
Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation
April 11, 2026
Autoren: Zunhai Su, Hengyuan Zhang, Wei Wu, Yifan Zhang, Yaxiu Liu, He Xiao, Qingyao Yang, Yuxuan Sun, Rui Yang, Chao Zhang, Keyu Fan, Weihao Ye, Jing Xiong, Hui Shen, Chaofan Tao, Taiqiang Wu, Zhongwei Wan, Yulei Qian, Yuchen Xie, Ngai Wong
cs.AI
Zusammenfassung
Als grundlegende Architektur des modernen maschinellen Lernens haben Transformer-Modelle bemerkenswerte Fortschritte in verschiedenen Bereichen der KI vorangetrieben. Trotz ihrer transformativen Wirkung stellt eine anhaltende Herausforderung bei verschiedenen Transformer-Architekturen das Phänomen der "Attention Sinks" (AS) dar, bei dem ein unverhältnismäßig großer Anteil der Aufmerksamkeit auf eine kleine Teilmenge spezifischer, aber nicht informativer Token gerichtet wird. AS erschwert die Interpretierbarkeit, beeinflusst die Trainings- und Inferenzdynamik erheblich und verstärkt Probleme wie Halluzinationen. In den letzten Jahren wurden erhebliche Forschungsanstrengungen unternommen, um AS zu verstehen und nutzbar zu machen. Dennoch fehlt es nach wie vor an einer umfassenden Übersichtsarbeit, die die AS-bezogene Forschung systematisch zusammenführt und Orientierung für zukünftige Fortschritte bietet. Um diese Lücke zu schließen, präsentieren wir die erste Übersichtsarbeit zu AS, die sich um drei Schlüsseldimensionen strukturiert, die derzeit die Forschungslanschaft prägen: Grundlegende Nutzung, Mechanistische Interpretation und Strategische Minderung. Unsere Arbeit leistet einen zentralen Beitrag, indem sie Schlüsselkonzepte klärt und Forscher durch die Entwicklung und Trends des Feldes führt. Wir sehen diese Übersichtsarbeit als eine maßgebliche Ressource, die Forscher und Praktiker befähigt, AS innerhalb des aktuellen Transformer-Paradigmas effektiv zu handhaben und gleichzeitig innovative Fortschritte für die nächste Generation von Transformern inspiriert. Die Paper-Liste dieser Arbeit ist verfügbar unter https://github.com/ZunhaiSu/Awesome-Attention-Sink.
English
As the foundational architecture of modern machine learning, Transformers have driven remarkable progress across diverse AI domains. Despite their transformative impact, a persistent challenge across various Transformers is Attention Sink (AS), in which a disproportionate amount of attention is focused on a small subset of specific yet uninformative tokens. AS complicates interpretability, significantly affecting the training and inference dynamics, and exacerbates issues such as hallucinations. In recent years, substantial research has been dedicated to understanding and harnessing AS. However, a comprehensive survey that systematically consolidates AS-related research and offers guidance for future advancements remains lacking. To address this gap, we present the first survey on AS, structured around three key dimensions that define the current research landscape: Fundamental Utilization, Mechanistic Interpretation, and Strategic Mitigation. Our work provides a pivotal contribution by clarifying key concepts and guiding researchers through the evolution and trends of the field. We envision this survey as a definitive resource, empowering researchers and practitioners to effectively manage AS within the current Transformer paradigm, while simultaneously inspiring innovative advancements for the next generation of Transformers. The paper list of this work is available at https://github.com/ZunhaiSu/Awesome-Attention-Sink.