GEAR: Autorregressão Guiada Ponta a Ponta para Síntese de Imagens

Resumo

Modelos generativos visuais são tipicamente treinados em dois estágios. Primeiro, um tokenizador é treinado para reconstrução e então congelado, após o que um gerador é treinado em seus índices discretos ou latentes contínuos. Esse desacoplamento faz com que o tokenizador ignore o que o gerador considera fácil de modelar. Apresentamos o GEAR (Autoregressão Guiada de Ponta a Ponta), que treina um tokenizador quantizado vetorialmente (VQ) e um gerador autoregressivo (AR) de forma conjunta e de ponta a ponta, guiada por alinhamento de representações. O principal obstáculo é que o índice VQ alimentado no modelo AR é não diferenciável, portanto gradientes não alcançam o tokenizador, e um estimador straight-through colapsa. O GEAR resolve isso com uma leitura dupla da atribuição do codebook. Um ramo rígido (hard) e one-hot treina a AR com predição do próximo token, enquanto um ramo soft diferenciável carrega uma perda de alinhamento de representações que flui de volta para guiar apenas o tokenizador. Com isso, o modelo AR orienta seu tokenizador para uma distribuição de índices que ele consegue prever mais facilmente. Isso desloca o ônus do alinhamento do tokenizador para a AR: as características próprias do tokenizador tornam-se menos semelhantes ao DINOv2, enquanto as da AR tornam-se mais, o oposto das receitas do lado da difusão que tornam o próprio latente semântico. O GEAR acelera a convergência do ImageNet gFID em até 10x em relação à forte baseline LlamaGen-REPA, aprende características de nível de patch e espacialmente coerentes notavelmente melhores, e generaliza entre quantizadores (VQVAE, LFQ, IBQ) e para geração de texto para imagem.

English

Visual generative models are typically trained in two stages. A tokenizer is first trained for reconstruction and then frozen, after which a generator is trained on its discrete indices or continuous latents. This decoupling leaves the tokenizer unaware of what the generator finds easy to model. We present GEAR (Guided End-to-end AutoRegression), which trains a vector-quantized (VQ) tokenizer and an autoregressive (AR) generator jointly and end-to-end, guided by representation alignment. The key obstacle is that the VQ index fed to the AR model is non-differentiable, so gradients cannot reach the tokenizer, and a straight-through estimator collapses. GEAR resolves this with a dual read-out of the codebook assignment. A hard, one-hot branch trains the AR with next-token prediction, while a differentiable soft branch carries a representation-alignment loss that flows back to guide only the tokenizer. The AR model thereby steers its tokenizer toward an index distribution it can predict more easily. This shifts the alignment burden from the tokenizer to the AR: the tokenizer's own features become less DINOv2-like while the AR's become more so, the opposite of diffusion-side recipes that make the latent itself semantic. GEAR speeds up ImageNet gFID convergence by up to 10x relative to the strong LlamaGen-REPA baseline, learns markedly better patch-level and spatially-coherent features, and generalizes across quantizers (VQVAE, LFQ, IBQ) and to text-to-image generation.