Заблудившись в обратном распространении: Головная часть языковой модели как градиентное узкое место

Lost in Backpropagation: The LM Head is a Gradient Bottleneck

March 10, 2026

Авторы: Nathan Godey, Yoav Artzi

cs.AI

Аннотация

Последний слой нейросетевых языковых моделей (ЯМ) проецирует выходные признаки размерности D в логиты размерности V, соответствующей размеру словаря, причем обычно D ≪ V. Известно, что это несоответствие повышает риски ограниченной выразительной способности нейросетевых ЯМ, создавая так называемое узкое место softmax. Мы показываем, что узкое место softmax является не только узким местом выразительности, но и узким местом оптимизации. Обратное распространение V-мерных градиентов через линейный слой ранга D вызывает неизбежное сжатие, которое искажает обучающий сигнал, поступающий к подавляющему большинству параметров. Мы представляем теоретический анализ этого явления и эмпирически измеряем, что 95–99% нормы градиента подавляется выходным слоем, что приводит к сильно субоптимальным направлениям обновления. Мы проводим контролируемые эксперименты по предварительному обучению, показывающие, что градиентное узкое место делает тривиальные паттерны необучаемыми и кардинально влияет на динамику обучения больших языковых моделей (LLM). Мы утверждаем, что этот фундаментальный недостаток вносит вклад в неэффективность обучения на масштабе независимо от архитектуры модели и указывает на необходимость разработки новых структур выходного слоя ЯМ.

English

The last layer of neural language models (LMs) projects output features of dimension D to logits in dimension V, the size of the vocabulary, where usually D ll V. This mismatch is known to raise risks of limited expressivity in neural LMs, creating a so-called softmax bottleneck. We show the softmax bottleneck is not only an expressivity bottleneck but also an optimization bottleneck. Backpropagating V-dimensional gradients through a rank-D linear layer induces unavoidable compression, which alters the training feedback provided to the vast majority of the parameters. We present a theoretical analysis of this phenomenon and measure empirically that 95-99% of the gradient norm is suppressed by the output layer, resulting in vastly suboptimal update directions. We conduct controlled pretraining experiments showing that the gradient bottleneck makes trivial patterns unlearnable, and drastically affects the training dynamics of LLMs. We argue that this inherent flaw contributes to training inefficiencies at scale independently of the model architecture, and raises the need for new LM head designs.