ControlAR: 制御可能な自己回帰モデルを用いた画像生成

ControlAR: Controllable Image Generation with Autoregressive Models

October 3, 2024

著者: Zongming Li, Tianheng Cheng, Shoufa Chen, Peize Sun, Haocheng Shen, Longjin Ran, Xiaoxin Chen, Wenyu Liu, Xinggang Wang

cs.AI

要旨

自己回帰（AR）モデルは、画像生成を次のトークン予測として再定式化し、顕著な潜在能力を示し、拡散モデルに対する強力な競合相手として台頭しています。ただし、ControlNetのような制御から画像生成への手法は、ARモデル内でほとんど未開拓のままです。大規模言語モデルの進歩に触発された自然なアプローチは、制御画像をトークンにトークン化し、画像トークンのデコード前にそれらを自己回帰モデルに事前に埋め込むことですが、これはControlNetに比べて生成品質が不足しており、効率の問題も抱えています。このため、空間制御を自己回帰画像生成モデルに効率的かつ効果的に統合するためのControlARフレームワークを導入します。まず、ARモデル向けの制御エンコーディングを探求し、軽量な制御エンコーダを提案して、空間入力（例：cannyエッジまたは深度マップ）を制御トークンに変換します。次に、ControlARは、制御トークンと画像トークンの間のトークンごとの融合に基づく条件付きデコーディング手法を利用して、画像トークンを生成します。これは、トークンの事前埋め込みよりも、条件付きデコーディングを使用することで、ARモデルの制御能力を大幅に強化しますが、モデルの効率性も維持します。さらに、提案されたControlARは、条件付きデコーディングと特定の制御を介して、ARモデルに任意解像度の画像生成能力を驚くほど与えます。包括的な実験により、提案されたControlARが、エッジ、深度、セグメンテーションマスクなど多様な入力にわたる自己回帰制御から画像生成の制御可能性を示すことができます。さらに、定量的および定性的な結果の両方が、ControlARが以前の最先端の制御可能な拡散モデル、例えばControlNet++を上回っていることを示しています。コード、モデル、デモは、https://github.com/hustvl/ControlAR で近日公開予定です。

English

Autoregressive (AR) models have reformulated image generation as next-token prediction, demonstrating remarkable potential and emerging as strong competitors to diffusion models. However, control-to-image generation, akin to ControlNet, remains largely unexplored within AR models. Although a natural approach, inspired by advancements in Large Language Models, is to tokenize control images into tokens and prefill them into the autoregressive model before decoding image tokens, it still falls short in generation quality compared to ControlNet and suffers from inefficiency. To this end, we introduce ControlAR, an efficient and effective framework for integrating spatial controls into autoregressive image generation models. Firstly, we explore control encoding for AR models and propose a lightweight control encoder to transform spatial inputs (e.g., canny edges or depth maps) into control tokens. Then ControlAR exploits the conditional decoding method to generate the next image token conditioned on the per-token fusion between control and image tokens, similar to positional encodings. Compared to prefilling tokens, using conditional decoding significantly strengthens the control capability of AR models but also maintains the model's efficiency. Furthermore, the proposed ControlAR surprisingly empowers AR models with arbitrary-resolution image generation via conditional decoding and specific controls. Extensive experiments can demonstrate the controllability of the proposed ControlAR for the autoregressive control-to-image generation across diverse inputs, including edges, depths, and segmentation masks. Furthermore, both quantitative and qualitative results indicate that ControlAR surpasses previous state-of-the-art controllable diffusion models, e.g., ControlNet++. Code, models, and demo will soon be available at https://github.com/hustvl/ControlAR.