GEAR: Geführte End-to-End-Autoregression für Bildsynthese

Zusammenfassung

Visuelle generative Modelle werden typischerweise in zwei Stufen trainiert. Zunächst wird ein Tokenizer für die Rekonstruktion trainiert und dann eingefroren, woraufhin ein Generator auf dessen diskreten Indizes oder kontinuierlichen Latents trainiert wird. Diese Entkopplung führt dazu, dass der Tokenizer nicht weiß, was der Generator leicht modellieren kann. Wir stellen GEAR (Guided End-to-end AutoRegression) vor, das einen vektorquantisierten (VQ) Tokenizer und einen autoregressiven (AR) Generator gemeinsam und end-to-end trainiert, geleitet durch einen Repräsentationsabgleich. Das Haupthindernis besteht darin, dass der dem AR-Modell zugeführte VQ-Index nicht differenzierbar ist, sodass Gradienten den Tokenizer nicht erreichen können und ein Straight-Through-Schätzer zusammenbricht. GEAR löst dies mit einer dualen Auslese der Codebuch-Zuweisung. Ein harter, One-Hot-Zweig trainiert den AR mit der Vorhersage des nächsten Tokens, während ein differenzierbarer, weicher Zweig einen Repräsentationsabgleichsverlust trägt, der zurückfließt, um nur den Tokenizer zu leiten. Dadurch lenkt das AR-Modell seinen Tokenizer in Richtung einer Indexverteilung, die es leichter vorhersagen kann. Dies verlagert die Abgleichslast vom Tokenizer auf den AR: Die eigenen Merkmale des Tokenizers werden weniger DINOv2-ähnlich, während die des AR stärker so werden – das Gegenteil von Diffusionsseiten-Rezepten, die das Latent selbst semantisch machen. GEAR beschleunigt die ImageNet-gFID-Konvergenz um bis zu 10× im Vergleich zur starken LlamaGen-REPA-Baseline, lernt deutlich bessere Patch-Level- und räumlich kohärente Merkmale und generalisiert über Quantisierer (VQVAE, LFQ, IBQ) hinweg sowie auf Text-zu-Bild-Generierung.

English

Visual generative models are typically trained in two stages. A tokenizer is first trained for reconstruction and then frozen, after which a generator is trained on its discrete indices or continuous latents. This decoupling leaves the tokenizer unaware of what the generator finds easy to model. We present GEAR (Guided End-to-end AutoRegression), which trains a vector-quantized (VQ) tokenizer and an autoregressive (AR) generator jointly and end-to-end, guided by representation alignment. The key obstacle is that the VQ index fed to the AR model is non-differentiable, so gradients cannot reach the tokenizer, and a straight-through estimator collapses. GEAR resolves this with a dual read-out of the codebook assignment. A hard, one-hot branch trains the AR with next-token prediction, while a differentiable soft branch carries a representation-alignment loss that flows back to guide only the tokenizer. The AR model thereby steers its tokenizer toward an index distribution it can predict more easily. This shifts the alignment burden from the tokenizer to the AR: the tokenizer's own features become less DINOv2-like while the AR's become more so, the opposite of diffusion-side recipes that make the latent itself semantic. GEAR speeds up ImageNet gFID convergence by up to 10x relative to the strong LlamaGen-REPA baseline, learns markedly better patch-level and spatially-coherent features, and generalizes across quantizers (VQVAE, LFQ, IBQ) and to text-to-image generation.