HART: ハイブリッド自己回帰トランスフォーマーを用いた効率的なビジュアル生成

HART: Efficient Visual Generation with Hybrid Autoregressive Transformer

October 14, 2024

著者: Haotian Tang, Yecheng Wu, Shang Yang, Enze Xie, Junsong Chen, Junyu Chen, Zhuoyang Zhang, Han Cai, Yao Lu, Song Han

cs.AI

要旨

我々は、Hybrid Autoregressive Transformer（HART）を紹介します。これは、直接1024x1024の画像を生成できる自己回帰（AR）ビジュアル生成モデルであり、画像生成品質において拡散モデルと競合しています。既存のARモデルは、離散トークナイザの画像再構築品質の低さと、1024pxの画像生成に伴う高コストなトレーニングによる制約に直面しています。これらの課題に対処するために、私たちはハイブリッドトークナイザを提案します。このトークナイザは、オートエンコーダから連続的な潜在変数を2つのコンポーネントに分解します。大局を表す離散トークンと、離散トークンでは表現できない残差コンポーネントを表す連続トークンです。離散コンポーネントはスケーラブル解像度の離散ARモデルでモデル化され、一方、連続コンポーネントは軽量な残差拡散モジュールによって37Mのパラメータのみで学習されます。離散のみのVARトークナイザと比較して、私たちのハイブリッドアプローチは、MJHQ-30Kにおける再構築FIDを2.11から0.30に改善し、生成FIDを7.85から5.38に向上させる31%の改善をもたらします。HARTは、FIDとCLIPスコアの両方で最先端の拡散モデルを上回り、スループットが4.5〜7.7倍高く、MACsが6.9〜13.4倍低いです。私たちのコードはhttps://github.com/mit-han-lab/hart でオープンソースとして公開されています。

English

We introduce Hybrid Autoregressive Transformer (HART), an autoregressive (AR) visual generation model capable of directly generating 1024x1024 images, rivaling diffusion models in image generation quality. Existing AR models face limitations due to the poor image reconstruction quality of their discrete tokenizers and the prohibitive training costs associated with generating 1024px images. To address these challenges, we present the hybrid tokenizer, which decomposes the continuous latents from the autoencoder into two components: discrete tokens representing the big picture and continuous tokens representing the residual components that cannot be represented by the discrete tokens. The discrete component is modeled by a scalable-resolution discrete AR model, while the continuous component is learned with a lightweight residual diffusion module with only 37M parameters. Compared with the discrete-only VAR tokenizer, our hybrid approach improves reconstruction FID from 2.11 to 0.30 on MJHQ-30K, leading to a 31% generation FID improvement from 7.85 to 5.38. HART also outperforms state-of-the-art diffusion models in both FID and CLIP score, with 4.5-7.7x higher throughput and 6.9-13.4x lower MACs. Our code is open sourced at https://github.com/mit-han-lab/hart.