Migliorare la Generazione di Immagini Autoregressiva attraverso la Predizione di Token da Grossolana a Fine

Improving Autoregressive Image Generation through Coarse-to-Fine Token Prediction

March 20, 2025

Autori: Ziyao Guo, Kaipeng Zhang, Michael Qizhe Shieh

cs.AI

Abstract

I modelli autoregressivi hanno dimostrato un notevole successo nella generazione di immagini adattando tecniche di previsione sequenziale provenienti dalla modellazione del linguaggio. Tuttavia, applicare questi approcci alle immagini richiede la discretizzazione dei dati pixel continui attraverso metodi di quantizzazione vettoriale come il VQ-VAE. Per mitigare gli errori di quantizzazione presenti nel VQ-VAE, i lavori recenti tendono a utilizzare codebook più grandi. Tuttavia, ciò comporta un'espansione corrispondente della dimensione del vocabolario, complicando il compito di modellazione autoregressiva. Questo articolo si propone di trovare un modo per sfruttare i vantaggi dei codebook di grandi dimensioni senza rendere più difficile la modellazione autoregressiva. Attraverso un'indagine empirica, scopriamo che i token con rappresentazioni di codeword simili producono effetti simili sull'immagine generata finale, rivelando una significativa ridondanza nei codebook di grandi dimensioni. Basandoci su questa intuizione, proponiamo di prevedere i token da un livello grossolano a uno fine (CTF), realizzato assegnando la stessa etichetta grossolana a token simili. Il nostro framework si compone di due fasi: (1) un modello autoregressivo che prevede sequenzialmente etichette grossolane per ciascun token nella sequenza, e (2) un modello ausiliario che prevede simultaneamente etichette a grana fine per tutti i token condizionatamente alle loro etichette grossolane. Gli esperimenti su ImageNet dimostrano la performance superiore del nostro metodo, ottenendo un miglioramento medio di 59 punti nell'Inception Score rispetto ai baseline. In particolare, nonostante l'aggiunta di un passaggio di inferenza, il nostro approccio raggiunge velocità di campionamento più elevate.

English

Autoregressive models have shown remarkable success in image generation by adapting sequential prediction techniques from language modeling. However, applying these approaches to images requires discretizing continuous pixel data through vector quantization methods like VQ-VAE. To alleviate the quantization errors that existed in VQ-VAE, recent works tend to use larger codebooks. However, this will accordingly expand vocabulary size, complicating the autoregressive modeling task. This paper aims to find a way to enjoy the benefits of large codebooks without making autoregressive modeling more difficult. Through empirical investigation, we discover that tokens with similar codeword representations produce similar effects on the final generated image, revealing significant redundancy in large codebooks. Based on this insight, we propose to predict tokens from coarse to fine (CTF), realized by assigning the same coarse label for similar tokens. Our framework consists of two stages: (1) an autoregressive model that sequentially predicts coarse labels for each token in the sequence, and (2) an auxiliary model that simultaneously predicts fine-grained labels for all tokens conditioned on their coarse labels. Experiments on ImageNet demonstrate our method's superior performance, achieving an average improvement of 59 points in Inception Score compared to baselines. Notably, despite adding an inference step, our approach achieves faster sampling speeds.