Limites de la normalisation dans le mécanisme d'attention

Limitations of Normalization in Attention Mechanism

August 25, 2025

papers.authors: Timur Mudarisov, Mikhail Burtsev, Tatiana Petrova, Radu State

cs.AI

papers.abstract

Cet article explore les limites de la normalisation dans les mécanismes d'attention. Nous commençons par un cadre théorique permettant d'identifier la capacité de sélection du modèle ainsi que la séparation géométrique impliquée dans la sélection des tokens. Notre analyse inclut des bornes explicites sur les distances et des critères de séparation pour les vecteurs de tokens sous l'effet de la mise à l'échelle softmax. À travers des expériences avec le modèle GPT-2 pré-entraîné, nous validons empiriquement nos résultats théoriques et analysons les comportements clés du mécanisme d'attention. Nous démontrons notamment que, à mesure que le nombre de tokens sélectionnés augmente, la capacité du modèle à distinguer les tokens informatifs diminue, convergeant souvent vers un schéma de sélection uniforme. Nous montrons également que la sensibilité du gradient sous la normalisation softmax pose des défis lors de l'entraînement, en particulier à des réglages de température basse. Ces résultats approfondissent la compréhension actuelle du mécanisme d'attention basé sur softmax et soulignent la nécessité de stratégies de normalisation et de sélection plus robustes dans les architectures d'attention futures.

English

This paper investigates the limitations of the normalization in attention mechanisms. We begin with a theoretical framework that enables the identification of the model's selective ability and the geometric separation involved in token selection. Our analysis includes explicit bounds on distances and separation criteria for token vectors under softmax scaling. Through experiments with pre-trained GPT-2 model, we empirically validate our theoretical results and analyze key behaviors of the attention mechanism. Notably, we demonstrate that as the number of selected tokens increases, the model's ability to distinguish informative tokens declines, often converging toward a uniform selection pattern. We also show that gradient sensitivity under softmax normalization presents challenges during training, especially at low temperature settings. These findings advance current understanding of softmax-based attention mechanism and motivate the need for more robust normalization and selection strategies in future attention architectures.