Más allá de las leyes de escalamiento: Comprendiendo el rendimiento de los transformadores con memoria asociativaBeyond Scaling Laws: Understanding Transformer Performance with
Associative Memory
Aumentar el tamaño de un modelo Transformer no siempre conduce a una mejora en el rendimiento. Este fenómeno no puede explicarse mediante las leyes de escalado empíricas. Además, la capacidad de generalización mejorada ocurre a medida que el modelo memoriza las muestras de entrenamiento. Presentamos un marco teórico que arroja luz sobre el proceso de memorización y la dinámica del rendimiento en los modelos de lenguaje basados en Transformers. Modelamos el comportamiento de los Transformers con memorias asociativas utilizando redes de Hopfield, de modo que cada bloque del Transformer efectivamente realiza una búsqueda aproximada del vecino más cercano. Basándonos en esto, diseñamos una función de energía análoga a la de la red de Hopfield continua moderna, lo que proporciona una explicación esclarecedora del mecanismo de atención. Utilizando la técnica de mayorización-minimización, construimos una función de energía global que captura la arquitectura en capas del Transformer. Bajo condiciones específicas, demostramos que la pérdida de entropía cruzada mínima alcanzable está acotada inferiormente por una constante aproximadamente igual a 1. Sustentamos nuestros resultados teóricos mediante experimentos con GPT-2 en varios tamaños de datos, así como entrenando Transformers básicos en un conjunto de datos de 2 millones de tokens.