Além das Leis de Escalonamento: Compreendendo o Desempenho de Transformers com Memória Associativa

Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory

May 14, 2024

Autores: Xueyan Niu, Bo Bai, Lei Deng, Wei Han

cs.AI

Resumo

Aumentar o tamanho de um modelo Transformer nem sempre leva a um desempenho aprimorado. Esse fenômeno não pode ser explicado pelas leis de escalonamento empíricas. Além disso, a capacidade de generalização melhorada ocorre à medida que o modelo memoriza as amostras de treinamento. Apresentamos uma estrutura teórica que esclarece o processo de memorização e a dinâmica de desempenho dos modelos de linguagem baseados em Transformers. Modelamos o comportamento dos Transformers com memórias associativas usando redes de Hopfield, de modo que cada bloco do Transformer efetivamente realiza uma busca aproximada do vizinho mais próximo. Com base nisso, projetamos uma função de energia análoga à da rede de Hopfield contínua moderna, que fornece uma explicação perspicaz para o mecanismo de atenção. Utilizando a técnica de majorização-minimização, construímos uma função de energia global que captura a arquitetura em camadas do Transformer. Sob condições específicas, mostramos que a perda de entropia cruzada mínima alcançável é limitada inferiormente por uma constante aproximadamente igual a 1. Validamos nossos resultados teóricos realizando experimentos com o GPT-2 em vários tamanhos de dados, bem como treinando Transformers simples em um conjunto de dados de 2 milhões de tokens.

English

Increasing the size of a Transformer model does not always lead to enhanced performance. This phenomenon cannot be explained by the empirical scaling laws. Furthermore, improved generalization ability occurs as the model memorizes the training samples. We present a theoretical framework that sheds light on the memorization process and performance dynamics of transformer-based language models. We model the behavior of Transformers with associative memories using Hopfield networks, such that each transformer block effectively conducts an approximate nearest-neighbor search. Based on this, we design an energy function analogous to that in the modern continuous Hopfield network which provides an insightful explanation for the attention mechanism. Using the majorization-minimization technique, we construct a global energy function that captures the layered architecture of the Transformer. Under specific conditions, we show that the minimum achievable cross-entropy loss is bounded from below by a constant approximately equal to 1. We substantiate our theoretical results by conducting experiments with GPT-2 on various data sizes, as well as training vanilla Transformers on a dataset of 2M tokens.