Token-Shuffle: Verso la Generazione di Immagini ad Alta Risoluzione con Modelli Autoregressivi

Token-Shuffle: Towards High-Resolution Image Generation with Autoregressive Models

April 24, 2025

Autori: Xu Ma, Peize Sun, Haoyu Ma, Hao Tang, Chih-Yao Ma, Jialiang Wang, Kunpeng Li, Xiaoliang Dai, Yujun Shi, Xuan Ju, Yushi Hu, Artsiom Sanakoyeu, Felix Juefei-Xu, Ji Hou, Junjiao Tian, Tao Xu, Tingbo Hou, Yen-Cheng Liu, Zecheng He, Zijian He, Matt Feiszli, Peizhao Zhang, Peter Vajda, Sam Tsai, Yun Fu

cs.AI

Abstract

I modelli autoregressivi (AR), da tempo dominanti nella generazione del linguaggio, vengono sempre più applicati alla sintesi di immagini, ma sono spesso considerati meno competitivi rispetto ai modelli basati su Diffusion. Una limitazione principale è il numero sostanziale di token di immagine richiesti dai modelli AR, che vincola sia l'efficienza di addestramento e inferenza, sia la risoluzione delle immagini. Per affrontare questo problema, presentiamo Token-Shuffle, un metodo nuovo ma semplice che riduce il numero di token di immagine nei Transformer. La nostra intuizione chiave è la ridondanza dimensionale dei vocabolari visivi nei Modelli Linguistici Multimodali di Grande Scala (MLLMs), dove i codici visivi a bassa dimensionalità provenienti dall'encoder visivo sono mappati direttamente su vocabolari linguistici ad alta dimensionalità. Sfruttando ciò, consideriamo due operazioni chiave: token-shuffle, che unisce token locali spazialmente lungo la dimensione del canale per ridurre il numero di token di input, e token-unshuffle, che separa i token inferiti dopo i blocchi Transformer per ripristinare la disposizione spaziale per l'output. Addestrando congiuntamente con prompt testuali, la nostra strategia non richiede un text-encoder pre-addestrato aggiuntivo e consente agli MLLMs di supportare la sintesi di immagini a risoluzione estremamente elevata in un modo unificato di previsione del token successivo, mantenendo un addestramento e un'inferenza efficienti. Per la prima volta, spingiamo il limite della generazione di immagini da testo AR a una risoluzione di 2048x2048 con prestazioni di generazione soddisfacenti. Nel benchmark GenAI, il nostro modello da 2.7B raggiunge un punteggio complessivo di 0.77 su prompt difficili, superando i modelli AR LlamaGen di 0.18 e i modelli diffusion LDM di 0.15. Valutazioni umane su larga scala e approfondite dimostrano anche la nostra capacità di generazione di immagini in termini di allineamento al testo, difetti visivi e aspetto visivo. Speriamo che Token-Shuffle possa servire come un design fondamentale per la generazione efficiente di immagini ad alta risoluzione all'interno degli MLLMs.

English

Autoregressive (AR) models, long dominant in language generation, are increasingly applied to image synthesis but are often considered less competitive than Diffusion-based models. A primary limitation is the substantial number of image tokens required for AR models, which constrains both training and inference efficiency, as well as image resolution. To address this, we present Token-Shuffle, a novel yet simple method that reduces the number of image tokens in Transformer. Our key insight is the dimensional redundancy of visual vocabularies in Multimodal Large Language Models (MLLMs), where low-dimensional visual codes from visual encoder are directly mapped to high-dimensional language vocabularies. Leveraging this, we consider two key operations: token-shuffle, which merges spatially local tokens along channel dimension to decrease the input token number, and token-unshuffle, which untangles the inferred tokens after Transformer blocks to restore the spatial arrangement for output. Jointly training with textual prompts, our strategy requires no additional pretrained text-encoder and enables MLLMs to support extremely high-resolution image synthesis in a unified next-token prediction way while maintaining efficient training and inference. For the first time, we push the boundary of AR text-to-image generation to a resolution of 2048x2048 with gratifying generation performance. In GenAI-benchmark, our 2.7B model achieves 0.77 overall score on hard prompts, outperforming AR models LlamaGen by 0.18 and diffusion models LDM by 0.15. Exhaustive large-scale human evaluations also demonstrate our prominent image generation ability in terms of text-alignment, visual flaw, and visual appearance. We hope that Token-Shuffle can serve as a foundational design for efficient high-resolution image generation within MLLMs.