Amélioration de la génération d'images autoregressive grâce à la prédiction de tokens du grossier au fin

Improving Autoregressive Image Generation through Coarse-to-Fine Token Prediction

March 20, 2025

Auteurs: Ziyao Guo, Kaipeng Zhang, Michael Qizhe Shieh

cs.AI

Résumé

Les modèles autorégressifs ont montré un succès remarquable dans la génération d'images en adaptant les techniques de prédiction séquentielle issues de la modélisation du langage. Cependant, l'application de ces approches aux images nécessite de discrétiser les données de pixels continues via des méthodes de quantification vectorielle comme le VQ-VAE. Pour atténuer les erreurs de quantification présentes dans le VQ-VAE, les travaux récents tendent à utiliser des codebooks plus volumineux. Cependant, cela augmente proportionnellement la taille du vocabulaire, compliquant ainsi la tâche de modélisation autorégressive. Cet article vise à trouver un moyen de bénéficier des avantages des grands codebooks sans rendre la modélisation autorégressive plus difficile. Grâce à une investigation empirique, nous découvrons que les tokens avec des représentations de mots de code similaires produisent des effets similaires sur l'image générée finale, révélant une redondance significative dans les grands codebooks. Sur la base de cette observation, nous proposons de prédire les tokens de manière grossière à fine (CTF), réalisée en attribuant la même étiquette grossière à des tokens similaires. Notre cadre se compose de deux étapes : (1) un modèle autorégressif qui prédit séquentiellement les étiquettes grossières pour chaque token dans la séquence, et (2) un modèle auxiliaire qui prédit simultanément les étiquettes fines pour tous les tokens conditionnées par leurs étiquettes grossières. Les expériences sur ImageNet démontrent la performance supérieure de notre méthode, avec une amélioration moyenne de 59 points dans le score Inception par rapport aux méthodes de référence. Notamment, malgré l'ajout d'une étape d'inférence, notre approche permet des vitesses d'échantillonnage plus rapides.

English

Autoregressive models have shown remarkable success in image generation by adapting sequential prediction techniques from language modeling. However, applying these approaches to images requires discretizing continuous pixel data through vector quantization methods like VQ-VAE. To alleviate the quantization errors that existed in VQ-VAE, recent works tend to use larger codebooks. However, this will accordingly expand vocabulary size, complicating the autoregressive modeling task. This paper aims to find a way to enjoy the benefits of large codebooks without making autoregressive modeling more difficult. Through empirical investigation, we discover that tokens with similar codeword representations produce similar effects on the final generated image, revealing significant redundancy in large codebooks. Based on this insight, we propose to predict tokens from coarse to fine (CTF), realized by assigning the same coarse label for similar tokens. Our framework consists of two stages: (1) an autoregressive model that sequentially predicts coarse labels for each token in the sequence, and (2) an auxiliary model that simultaneously predicts fine-grained labels for all tokens conditioned on their coarse labels. Experiments on ImageNet demonstrate our method's superior performance, achieving an average improvement of 59 points in Inception Score compared to baselines. Notably, despite adding an inference step, our approach achieves faster sampling speeds.