GEAR: Autorregresión Guiada de Extremo a Extremo para Síntesis de Imágenes

Resumen

Los modelos generativos visuales suelen entrenarse en dos etapas. Primero se entrena un tokenizador para reconstrucción y luego se congela, tras lo cual se entrena un generador sobre sus índices discretos o latentes continuos. Este desacoplamiento deja al tokenizador ajeno a lo que el generador considera fácil de modelar. Presentamos GEAR (Guided End-to-end AutoRegression), que entrena un tokenizador con cuantización vectorial (VQ) y un generador autorregresivo (AR) de forma conjunta y extremo a extremo, guiado por alineación de representaciones. El principal obstáculo es que el índice VQ alimentado al modelo AR no es diferenciable, por lo que los gradientes no pueden llegar al tokenizador y un estimador directo colapsa. GEAR resuelve esto mediante una doble lectura de la asignación del codebook. Una rama one-hot dura entrena al AR con predicción del siguiente token, mientras que una rama suave diferenciable transporta una pérdida de alineación de representaciones que retropropaga para guiar exclusivamente al tokenizador. De este modo, el modelo AR orienta a su tokenizador hacia una distribución de índices que le resulte más fácil de predecir. Esto traslada la carga de alineación del tokenizador al AR: las características propias del tokenizador se vuelven menos similares a DINOv2, mientras que las del AR lo hacen más, lo contrario de las recetas del lado de difusión que hacen que el latente mismo sea semántico. GEAR acelera la convergencia de gFID en ImageNet hasta 10 veces en comparación con la sólida línea base LlamaGen-REPA, aprende características notablemente mejores a nivel de parches y coherentes espacialmente, y se generaliza entre cuantizadores (VQVAE, LFQ, IBQ) y a la generación de texto a imagen.

English

Visual generative models are typically trained in two stages. A tokenizer is first trained for reconstruction and then frozen, after which a generator is trained on its discrete indices or continuous latents. This decoupling leaves the tokenizer unaware of what the generator finds easy to model. We present GEAR (Guided End-to-end AutoRegression), which trains a vector-quantized (VQ) tokenizer and an autoregressive (AR) generator jointly and end-to-end, guided by representation alignment. The key obstacle is that the VQ index fed to the AR model is non-differentiable, so gradients cannot reach the tokenizer, and a straight-through estimator collapses. GEAR resolves this with a dual read-out of the codebook assignment. A hard, one-hot branch trains the AR with next-token prediction, while a differentiable soft branch carries a representation-alignment loss that flows back to guide only the tokenizer. The AR model thereby steers its tokenizer toward an index distribution it can predict more easily. This shifts the alignment burden from the tokenizer to the AR: the tokenizer's own features become less DINOv2-like while the AR's become more so, the opposite of diffusion-side recipes that make the latent itself semantic. GEAR speeds up ImageNet gFID convergence by up to 10x relative to the strong LlamaGen-REPA baseline, learns markedly better patch-level and spatially-coherent features, and generalizes across quantizers (VQVAE, LFQ, IBQ) and to text-to-image generation.