Geração Autoregressiva de Imagens End-to-End com Tokenizador Semântico 1D

Resumo

A modelagem autoregressiva de imagens depende de tokenizadores visuais para comprimir imagens em representações latentes compactas. Projetamos um pipeline de treinamento de ponta a ponta que otimiza conjuntamente a reconstrução e a geração, permitindo supervisão direta dos resultados de geração para o tokenizador. Isso contrasta com abordagens anteriores em duas etapas que treinam tokenizadores e modelos generativos separadamente. Investigamos ainda o aproveitamento de modelos de base de visão para melhorar tokenizadores 1D para modelagem autoregressiva. Nosso modelo generativo autoregressivo alcança fortes resultados empíricos, incluindo um estado da arte no score FID de 1,48 sem orientação na geração de ImageNet 256x256.

English

Autoregressive image modeling relies on visual tokenizers to compress images into compact latent representations. We design an end-to-end training pipeline that jointly optimizes reconstruction and generation, enabling direct supervision from generation results to the tokenizer. This contrasts with prior two-stage approaches that train tokenizers and generative models separately. We further investigate leveraging vision foundation models to improve 1D tokenizers for autoregressive modeling. Our autoregressive generative model achieves strong empirical results, including a state-of-the-art FID score of 1.48 without guidance on ImageNet 256x256 generation.