Гипотеза разделения предсказания состояния

Аннотация

Трансформеры используют один и тот же поток прямых вычислений как для предсказания следующего токена, так и для хранения полезного состояния для будущих предсказаний токенов. Мы формулируем гипотезу разделения состояния и предсказания: разделение этих двух ролей приводит к лучшей производительности языкового моделирования. Мы разрабатываем вариант трансформера, который использует два потока вычислений для разделения этих функций, и проводим эксперименты по предобучению в различных масштабах. Наши эксперименты показывают, что разделение состояния и предсказания последовательно обеспечивает более высокую эффективность использования данных и вычислительных ресурсов, улучшая потери на валидации и в среднем превосходя стандартные трансформеры на 2–3 процентных пункта на последующих задачах. Мы также проводим обширный эмпирический анализ, который исключает возможные смешивающие факторы и демонстрирует фундаментальное различие в градиентах, вытекающее из нашей конструкции.

English

Transformers use the same forward computation stream to both predict the next token and store useful state for future token predictions. We formulate the state-prediction separation hypothesis: disentangling the two roles yields better language modeling performance. We design a Transformer variant that uses two computation streams to separate the two functions, and conduct pretraining experiments across various scales. Our experiments show that state-prediction separation consistently offers better data and compute efficiencies, improving validation loss and outperforming standard Transformers by 2--3 percentage points on average on downstream tasks. We also conduct extensive empirical analysis that rules out potential confounders and demonstrates the fundamental difference in the gradients our design entails.