HART: Generazione Visiva Efficiente con un Trasformatore Ibrido Autoregressivo

HART: Efficient Visual Generation with Hybrid Autoregressive Transformer

October 14, 2024

Autori: Haotian Tang, Yecheng Wu, Shang Yang, Enze Xie, Junsong Chen, Junyu Chen, Zhuoyang Zhang, Han Cai, Yao Lu, Song Han

cs.AI

Abstract

Introduciamo Hybrid Autoregressive Transformer (HART), un modello generativo visuale autoregressivo (AR) in grado di generare direttamente immagini 1024x1024, competendo con i modelli di diffusione nella qualità della generazione di immagini. I modelli AR esistenti affrontano limitazioni dovute alla scarsa qualità di ricostruzione dell'immagine dei loro tokenizzatori discreti e ai costi proibitivi di addestramento associati alla generazione di immagini a 1024px. Per affrontare queste sfide, presentiamo il tokenizer ibrido, che decompone i latenti continui dall'autocoder in due componenti: token discreti che rappresentano l'immagine generale e token continui che rappresentano le componenti residue che non possono essere rappresentate dai token discreti. La componente discreta è modellata da un modello AR discreto a risoluzione scalabile, mentre la componente continua è appresa con un modulo di diffusione residuale leggero con soli 37M parametri. Rispetto al tokenizer VAR solo discreto, il nostro approccio ibrido migliora il FID di ricostruzione da 2.11 a 0.30 su MJHQ-30K, portando a un miglioramento del FID di generazione del 31% da 7.85 a 5.38. HART supera anche i modelli di diffusione all'avanguardia sia nel FID che nel punteggio CLIP, con un throughput superiore del 4.5-7.7x e MACs inferiori del 6.9-13.4x. Il nostro codice è open source su https://github.com/mit-han-lab/hart.

English

We introduce Hybrid Autoregressive Transformer (HART), an autoregressive (AR) visual generation model capable of directly generating 1024x1024 images, rivaling diffusion models in image generation quality. Existing AR models face limitations due to the poor image reconstruction quality of their discrete tokenizers and the prohibitive training costs associated with generating 1024px images. To address these challenges, we present the hybrid tokenizer, which decomposes the continuous latents from the autoencoder into two components: discrete tokens representing the big picture and continuous tokens representing the residual components that cannot be represented by the discrete tokens. The discrete component is modeled by a scalable-resolution discrete AR model, while the continuous component is learned with a lightweight residual diffusion module with only 37M parameters. Compared with the discrete-only VAR tokenizer, our hybrid approach improves reconstruction FID from 2.11 to 0.30 on MJHQ-30K, leading to a 31% generation FID improvement from 7.85 to 5.38. HART also outperforms state-of-the-art diffusion models in both FID and CLIP score, with 4.5-7.7x higher throughput and 6.9-13.4x lower MACs. Our code is open sourced at https://github.com/mit-han-lab/hart.