Limitações da Normalização no Mecanismo de Atenção

Limitations of Normalization in Attention Mechanism

August 25, 2025

Autores: Timur Mudarisov, Mikhail Burtsev, Tatiana Petrova, Radu State

cs.AI

Resumo

Este artigo investiga as limitações da normalização em mecanismos de atenção. Começamos com um framework teórico que permite a identificação da capacidade seletiva do modelo e da separação geométrica envolvida na seleção de tokens. Nossa análise inclui limites explícitos sobre distâncias e critérios de separação para vetores de tokens sob escalonamento softmax. Por meio de experimentos com o modelo GPT-2 pré-treinado, validamos empiricamente nossos resultados teóricos e analisamos comportamentos-chave do mecanismo de atenção. Notavelmente, demonstramos que, à medida que o número de tokens selecionados aumenta, a capacidade do modelo de distinguir tokens informativos diminui, frequentemente convergindo para um padrão de seleção uniforme. Também mostramos que a sensibilidade do gradiente sob normalização softmax apresenta desafios durante o treinamento, especialmente em configurações de baixa temperatura. Essas descobertas avançam o entendimento atual do mecanismo de atenção baseado em softmax e motivam a necessidade de estratégias de normalização e seleção mais robustas em futuras arquiteturas de atenção.

English

This paper investigates the limitations of the normalization in attention mechanisms. We begin with a theoretical framework that enables the identification of the model's selective ability and the geometric separation involved in token selection. Our analysis includes explicit bounds on distances and separation criteria for token vectors under softmax scaling. Through experiments with pre-trained GPT-2 model, we empirically validate our theoretical results and analyze key behaviors of the attention mechanism. Notably, we demonstrate that as the number of selected tokens increases, the model's ability to distinguish informative tokens declines, often converging toward a uniform selection pattern. We also show that gradient sensitivity under softmax normalization presents challenges during training, especially at low temperature settings. These findings advance current understanding of softmax-based attention mechanism and motivate the need for more robust normalization and selection strategies in future attention architectures.