ChatPaper.aiChatPaper

Grenzen der Normalisierung im Aufmerksamkeitsmechanismus

Limitations of Normalization in Attention Mechanism

August 25, 2025
papers.authors: Timur Mudarisov, Mikhail Burtsev, Tatiana Petrova, Radu State
cs.AI

papers.abstract

Diese Arbeit untersucht die Grenzen der Normalisierung in Aufmerksamkeitsmechanismen. Wir beginnen mit einem theoretischen Rahmen, der die Identifikation der selektiven Fähigkeit des Modells und der geometrischen Trennung bei der Token-Auswahl ermöglicht. Unsere Analyse umfasst explizite Grenzen für Abstände und Trennungskriterien für Token-Vektoren unter Softmax-Skalierung. Durch Experimente mit dem vortrainierten GPT-2-Modell validieren wir unsere theoretischen Ergebnisse empirisch und analysieren Schlüsselverhaltensweisen des Aufmerksamkeitsmechanismus. Insbesondere zeigen wir, dass mit zunehmender Anzahl ausgewählter Token die Fähigkeit des Modells, informative Token zu unterscheiden, abnimmt und oft zu einem einheitlichen Auswahlmuster konvergiert. Wir zeigen auch, dass die Gradientenempfindlichkeit unter Softmax-Normalisierung Herausforderungen während des Trainings darstellt, insbesondere bei niedrigen Temperatureinstellungen. Diese Erkenntnisse erweitern das aktuelle Verständnis von Softmax-basierten Aufmerksamkeitsmechanismen und unterstreichen die Notwendigkeit robusterer Normalisierungs- und Auswahlstrategien in zukünftigen Aufmerksamkeitsarchitekturen.
English
This paper investigates the limitations of the normalization in attention mechanisms. We begin with a theoretical framework that enables the identification of the model's selective ability and the geometric separation involved in token selection. Our analysis includes explicit bounds on distances and separation criteria for token vectors under softmax scaling. Through experiments with pre-trained GPT-2 model, we empirically validate our theoretical results and analyze key behaviors of the attention mechanism. Notably, we demonstrate that as the number of selected tokens increases, the model's ability to distinguish informative tokens declines, often converging toward a uniform selection pattern. We also show that gradient sensitivity under softmax normalization presents challenges during training, especially at low temperature settings. These findings advance current understanding of softmax-based attention mechanism and motivate the need for more robust normalization and selection strategies in future attention architectures.
PDF14August 26, 2025