GEAR : Autorégression guidée de bout en bout pour la synthèse d'images

Résumé

Les modèles génératifs visuels sont généralement entraînés en deux étapes. Un tokenizer est d'abord entraîné pour la reconstruction puis figé, après quoi un générateur est entraîné sur ses indices discrets ou ses latents continus. Ce découplage laisse le tokenizer ignorant de ce que le générateur trouve facile à modéliser. Nous présentons GEAR (Guided End-to-end AutoRegression), qui entraîne un tokenizer quantifié vectoriellement (VQ) et un générateur autorégressif (AR) conjointement et de bout en bout, guidé par l'alignement des représentations. L'obstacle principal est que l'indice VQ fourni au modèle AR est non différentiable, de sorte que les gradients ne peuvent pas atteindre le tokenizer, et un estimateur straight-through s'effondre. GEAR résout ce problème avec une double lecture de l'affectation du codebook. Une branche dure, one-hot, entraîne l'AR avec la prédiction du jeton suivant, tandis qu'une branche souple différentiable porte une perte d'alignement des représentations qui rétropropage pour guider uniquement le tokenizer. Le modèle AR oriente ainsi son tokenizer vers une distribution d'indices qu'il peut prédire plus facilement. Cela déplace le fardeau de l'alignement du tokenizer vers l'AR : les propres caractéristiques du tokenizer deviennent moins de type DINOv2 tandis que celles de l'AR le deviennent davantage, à l'inverse des recettes côté diffusion qui rendent le latent lui-même sémantique. GEAR accélère la convergence du gFID sur ImageNet jusqu'à 10x par rapport à la baseline robuste LlamaGen-REPA, apprend des caractéristiques au niveau des patches et spatialement cohérentes nettement meilleures, et se généralise à travers les quantificateurs (VQVAE, LFQ, IBQ) et à la génération texte-à-image.

English

Visual generative models are typically trained in two stages. A tokenizer is first trained for reconstruction and then frozen, after which a generator is trained on its discrete indices or continuous latents. This decoupling leaves the tokenizer unaware of what the generator finds easy to model. We present GEAR (Guided End-to-end AutoRegression), which trains a vector-quantized (VQ) tokenizer and an autoregressive (AR) generator jointly and end-to-end, guided by representation alignment. The key obstacle is that the VQ index fed to the AR model is non-differentiable, so gradients cannot reach the tokenizer, and a straight-through estimator collapses. GEAR resolves this with a dual read-out of the codebook assignment. A hard, one-hot branch trains the AR with next-token prediction, while a differentiable soft branch carries a representation-alignment loss that flows back to guide only the tokenizer. The AR model thereby steers its tokenizer toward an index distribution it can predict more easily. This shifts the alignment burden from the tokenizer to the AR: the tokenizer's own features become less DINOv2-like while the AR's become more so, the opposite of diffusion-side recipes that make the latent itself semantic. GEAR speeds up ImageNet gFID convergence by up to 10x relative to the strong LlamaGen-REPA baseline, learns markedly better patch-level and spatially-coherent features, and generalizes across quantizers (VQVAE, LFQ, IBQ) and to text-to-image generation.