Limitaciones de la Normalización en el Mecanismo de Atención

Limitations of Normalization in Attention Mechanism

August 25, 2025

Autores: Timur Mudarisov, Mikhail Burtsev, Tatiana Petrova, Radu State

cs.AI

Resumen

Este artículo investiga las limitaciones de la normalización en los mecanismos de atención. Comenzamos con un marco teórico que permite identificar la capacidad selectiva del modelo y la separación geométrica involucrada en la selección de tokens. Nuestro análisis incluye límites explícitos sobre las distancias y criterios de separación para los vectores de tokens bajo escalado softmax. A través de experimentos con el modelo GPT-2 preentrenado, validamos empíricamente nuestros resultados teóricos y analizamos comportamientos clave del mecanismo de atención. En particular, demostramos que a medida que aumenta el número de tokens seleccionados, la capacidad del modelo para distinguir tokens informativos disminuye, convergiendo frecuentemente hacia un patrón de selección uniforme. También mostramos que la sensibilidad del gradiente bajo normalización softmax presenta desafíos durante el entrenamiento, especialmente en configuraciones de baja temperatura. Estos hallazgos avanzan la comprensión actual del mecanismo de atención basado en softmax y motivan la necesidad de estrategias de normalización y selección más robustas en futuras arquitecturas de atención.

English

This paper investigates the limitations of the normalization in attention mechanisms. We begin with a theoretical framework that enables the identification of the model's selective ability and the geometric separation involved in token selection. Our analysis includes explicit bounds on distances and separation criteria for token vectors under softmax scaling. Through experiments with pre-trained GPT-2 model, we empirically validate our theoretical results and analyze key behaviors of the attention mechanism. Notably, we demonstrate that as the number of selected tokens increases, the model's ability to distinguish informative tokens declines, often converging toward a uniform selection pattern. We also show that gradient sensitivity under softmax normalization presents challenges during training, especially at low temperature settings. These findings advance current understanding of softmax-based attention mechanism and motivate the need for more robust normalization and selection strategies in future attention architectures.