За пределами законов масштабирования: Понимание производительности трансформера с Ассоциативной памятью

Beyond Scaling Laws: Understanding Transformer Performance with Associative Memory

May 14, 2024

Авторы: Xueyan Niu, Bo Bai, Lei Deng, Wei Han

cs.AI

Аннотация

Увеличение размера модели трансформера не всегда приводит к улучшению производительности. Этот феномен не может быть объяснен эмпирическими законами масштабирования. Более того, улучшенная обобщающая способность проявляется при запоминании моделью обучающих образцов. Мы представляем теоретическую основу, которая проливает свет на процесс запоминания и динамику производительности языковых моделей на основе трансформера. Мы моделируем поведение трансформеров с использованием ассоциативных памяти с помощью сетей Хопфилда, таким образом, что каждый блок трансформера эффективно осуществляет приблизительный поиск ближайшего соседа. На основе этого мы разрабатываем энергетическую функцию, аналогичную современной непрерывной сети Хопфилда, которая предоставляет содержательное объяснение механизма внимания. С использованием техники мажоризации-минимизации мы строим глобальную энергетическую функцию, которая учитывает слоистую архитектуру трансформера. При определенных условиях мы показываем, что минимальная достижимая потеря перекрестной энтропии ограничена снизу постоянной, приблизительно равной 1. Мы подтверждаем наши теоретические результаты, проводя эксперименты с GPT-2 на различных объемах данных, а также обучая обычные трансформеры на наборе данных из 2 миллионов токенов.

English

Increasing the size of a Transformer model does not always lead to enhanced performance. This phenomenon cannot be explained by the empirical scaling laws. Furthermore, improved generalization ability occurs as the model memorizes the training samples. We present a theoretical framework that sheds light on the memorization process and performance dynamics of transformer-based language models. We model the behavior of Transformers with associative memories using Hopfield networks, such that each transformer block effectively conducts an approximate nearest-neighbor search. Based on this, we design an energy function analogous to that in the modern continuous Hopfield network which provides an insightful explanation for the attention mechanism. Using the majorization-minimization technique, we construct a global energy function that captures the layered architecture of the Transformer. Under specific conditions, we show that the minimum achievable cross-entropy loss is bounded from below by a constant approximately equal to 1. We substantiate our theoretical results by conducting experiments with GPT-2 on various data sizes, as well as training vanilla Transformers on a dataset of 2M tokens.