За пределами законов масштабирования: Понимание производительности трансформера с
Ассоциативной памятьюBeyond Scaling Laws: Understanding Transformer Performance with
Associative Memory
Увеличение размера модели трансформера не всегда приводит к улучшению производительности. Этот феномен не может быть объяснен эмпирическими законами масштабирования. Более того, улучшенная обобщающая способность проявляется при запоминании моделью обучающих образцов. Мы представляем теоретическую основу, которая проливает свет на процесс запоминания и динамику производительности языковых моделей на основе трансформера. Мы моделируем поведение трансформеров с использованием ассоциативных памяти с помощью сетей Хопфилда, таким образом, что каждый блок трансформера эффективно осуществляет приблизительный поиск ближайшего соседа. На основе этого мы разрабатываем энергетическую функцию, аналогичную современной непрерывной сети Хопфилда, которая предоставляет содержательное объяснение механизма внимания. С использованием техники мажоризации-минимизации мы строим глобальную энергетическую функцию, которая учитывает слоистую архитектуру трансформера. При определенных условиях мы показываем, что минимальная достижимая потеря перекрестной энтропии ограничена снизу постоянной, приблизительно равной 1. Мы подтверждаем наши теоретические результаты, проводя эксперименты с GPT-2 на различных объемах данных, а также обучая обычные трансформеры на наборе данных из 2 миллионов токенов.