End-to-end Autoregressieve Beeldgeneratie met 1D Semantische Tokenizer

End-to-End Autoregressive Image Generation with 1D Semantic Tokenizer

May 1, 2026

Auteurs: Wenda Chu, Bingliang Zhang, Jiaqi Han, Yizhuo Li, Linjie Yang, Yisong Yue, Qiushan Guo

cs.AI

Samenvatting

Autoregressieve beeldmodellering maakt gebruik van visuele tokenizers om afbeeldingen te comprimeren tot compacte latente representaties. Wij ontwikkelen een end-to-end trainingspijplijn die reconstructie en generatie gezamenlijk optimaliseert, waardoor directe supervisie van de generatieresultaten naar de tokenizer mogelijk wordt. Dit vormt een contrast met eerdere tweefasenbenaderingen waarbij tokenizers en generatieve modellen afzonderlijk worden getraind. Wij onderzoeken verder hoe vision foundation-modellen kunnen worden benut om 1D-tokenizers voor autoregressieve modellering te verbeteren. Ons autoregressief generatief model behaalt sterke empirische resultaten, waaronder een state-of-the-art FID-score van 1,48 zonder guidance bij ImageNet 256x256-generatie.

English

Autoregressive image modeling relies on visual tokenizers to compress images into compact latent representations. We design an end-to-end training pipeline that jointly optimizes reconstruction and generation, enabling direct supervision from generation results to the tokenizer. This contrasts with prior two-stage approaches that train tokenizers and generative models separately. We further investigate leveraging vision foundation models to improve 1D tokenizers for autoregressive modeling. Our autoregressive generative model achieves strong empirical results, including a state-of-the-art FID score of 1.48 without guidance on ImageNet 256x256 generation.