Verloren im Backpropagation: Der LM-Head als Gradienten-Flaschenhals
Lost in Backpropagation: The LM Head is a Gradient Bottleneck
March 10, 2026
Autoren: Nathan Godey, Yoav Artzi
cs.AI
Zusammenfassung
Die letzte Schicht neuronaler Sprachmodelle projiziert Ausgabemerkmale der Dimension D auf Logits in der Dimension V, der Größe des Vokabulars, wobei in der Regel D ≪ V gilt. Diese Diskrepanz ist dafür bekannt, das Risiko einer begrenzten Ausdrucksfähigkeit in neuronalen Sprachmodellen zu erhöhen und einen sogenannten Softmax-Flaschenhals zu verursachen. Wir zeigen, dass der Softmax-Flaschenhals nicht nur ein Ausdrucksfähigkeits-, sondern auch ein Optimierungsflaschenhals ist. Die Rückpropagation V-dimensionaler Gradienten durch eine lineare Schicht mit Rang D induziert eine unvermeidbare Kompression, welche das Trainingsfeedback für die überwiegende Mehrheit der Parameter verändert. Wir präsentieren eine theoretische Analyse dieses Phänomens und messen empirisch, dass 95–99 % der Gradientennorm durch die Ausgabeschicht unterdrückt werden, was zu stark suboptimalen Aktualisierungsrichtungen führt. Durch kontrollierte Vortrainingsexperimente zeigen wir, dass der Gradientenflaschenhals triviale Muster unerlernbar macht und die Trainingsdynamik von großen Sprachmodellen erheblich beeinflusst. Wir argumentieren, dass dieser inhärente Mangel unabhängig von der Modellarchitektur zu Ineffizienzen beim Training in großem Maßstab beiträgt und die Notwendigkeit neuer Designs für den Sprachmodell-Kopf aufzeigt.
English
The last layer of neural language models (LMs) projects output features of dimension D to logits in dimension V, the size of the vocabulary, where usually D ll V. This mismatch is known to raise risks of limited expressivity in neural LMs, creating a so-called softmax bottleneck. We show the softmax bottleneck is not only an expressivity bottleneck but also an optimization bottleneck. Backpropagating V-dimensional gradients through a rank-D linear layer induces unavoidable compression, which alters the training feedback provided to the vast majority of the parameters. We present a theoretical analysis of this phenomenon and measure empirically that 95-99% of the gradient norm is suppressed by the output layer, resulting in vastly suboptimal update directions. We conduct controlled pretraining experiments showing that the gradient bottleneck makes trivial patterns unlearnable, and drastically affects the training dynamics of LLMs. We argue that this inherent flaw contributes to training inefficiencies at scale independently of the model architecture, and raises the need for new LM head designs.