Sobre la Expresividad de la Atención Softmax: Una Perspectiva de Redes Neuronales Recurrentes

On the Expressiveness of Softmax Attention: A Recurrent Neural Network Perspective

July 31, 2025

Autores: Gabriel Mongaras, Eric C. Larson

cs.AI

Resumen

Desde su introducción, la atención softmax se ha convertido en la columna vertebral de las arquitecturas modernas de transformadores debido a su expresividad y escalabilidad en una amplia gama de tareas. Sin embargo, el principal inconveniente de la atención softmax es el requisito de memoria cuadrática y la complejidad computacional con respecto a la longitud de la secuencia. Al reemplazar la no linealidad softmax, se han introducido métodos como la atención lineal y similares para evitar el cuello de botella cuadrático de la atención softmax. A pesar de que estas formas lineales de atención se derivan de la formulación original de softmax, generalmente se quedan atrás en términos de precisión en tareas posteriores. Aunque una intuición sólida sobre la no linealidad softmax en el producto interno entre consultas y claves sugiere que tiene propiedades deseables en comparación con otras no linealidades, la pregunta de por qué existe esta discrepancia sigue sin respuesta. Este trabajo demuestra que la atención lineal es una aproximación de la atención softmax al derivar la forma recurrente de la atención softmax. Utilizando esta forma, cada parte de la atención softmax puede describirse en el lenguaje de las redes neuronales recurrentes (RNN). Describir la atención softmax como una RNN permite realizar una ablación de los componentes de la atención softmax para comprender la importancia de cada parte y cómo interactúan. De esta manera, nuestro trabajo ayuda a explicar por qué la atención softmax es más expresiva que sus contrapartes.

English

Since its introduction, softmax attention has become the backbone of modern transformer architectures due to its expressiveness and scalability across a wide range of tasks. However, the main drawback of softmax attention is the quadratic memory requirement and computational complexity with respect to the sequence length. By replacing the softmax nonlinearity, linear attention and similar methods have been introduced to avoid the quadratic bottleneck of softmax attention. Despite these linear forms of attention being derived from the original softmax formulation, they typically lag in terms of downstream accuracy. While strong intuition of the softmax nonlinearity on the query and key inner product suggests that it has desirable properties compared to other nonlinearities, the question of why this discrepancy exists still remains unanswered. This work demonstrates that linear attention is an approximation of softmax attention by deriving the recurrent form of softmax attention. Using this form, each part of softmax attention can be described in the language of recurrent neural networks (RNNs). Describing softmax attention as an RNN allows for the ablation of the components of softmax attention to understand the importance of each part and how they interact. In this way, our work helps explain why softmax attention is more expressive than its counterparts.