ControlAR: Steuerbare Bildgenerierung mit autoregressiven Modellen

ControlAR: Controllable Image Generation with Autoregressive Models

October 3, 2024

Autoren: Zongming Li, Tianheng Cheng, Shoufa Chen, Peize Sun, Haocheng Shen, Longjin Ran, Xiaoxin Chen, Wenyu Liu, Xinggang Wang

cs.AI

Zusammenfassung

Autoregressive (AR) Modelle haben die Bildgenerierung neu formuliert als Vorhersage des nächsten Tokens und dabei ein bemerkenswertes Potenzial gezeigt, das sie zu starken Konkurrenten der Diffusionsmodelle macht. Die Generierung von Bildern aus Steuerungsinformationen, ähnlich wie bei ControlNet, bleibt jedoch innerhalb der AR-Modelle weitgehend unerforscht. Obwohl ein naheliegender Ansatz, inspiriert von Fortschritten in großen Sprachmodellen, darin besteht, Steuerungsbilder in Tokens zu unterteilen und diese vor dem Decodieren von Bildtokens in das autoregressive Modell einzufügen, bleibt die Generierungsqualität im Vergleich zu ControlNet hinterher und leidet unter Ineffizienz. Zu diesem Zweck stellen wir ControlAR vor, ein effizientes und effektives Framework zur Integration von räumlichen Steuerungen in autoregressive Bildgenerierungsmodelle. Zunächst untersuchen wir die Steuerungscodierung für AR-Modelle und schlagen einen leichten Steuerungsencoder vor, um räumliche Eingaben (z. B. Canny-Kanten oder Tiefenkarten) in Steuerungstokens umzuwandeln. Dann nutzt ControlAR die bedingte Decodierungsmethode, um das nächste Bildtoken zu generieren, das auf der fusionierten Information pro Token zwischen Steuerungs- und Bildtokens basiert, ähnlich wie Positionscodierungen. Im Vergleich zur Vorabfüllung von Tokens stärkt die Verwendung der bedingten Decodierung signifikant die Steuerungsfähigkeit von AR-Modellen, während die Effizienz des Modells erhalten bleibt. Darüber hinaus ermöglicht das vorgeschlagene ControlAR überraschenderweise AR-Modellen die Generierung von Bildern mit beliebiger Auflösung über bedingte Decodierung und spezifische Steuerungen. Umfangreiche Experimente können die Steuerbarkeit des vorgeschlagenen ControlAR für die autoregressive Generierung von Steuerung-zu-Bildern über verschiedene Eingaben wie Kanten, Tiefen und Segmentierungsmasken zeigen. Sowohl quantitative als auch qualitative Ergebnisse deuten darauf hin, dass ControlAR die bisherigen state-of-the-art steuerbaren Diffusionsmodelle, z. B. ControlNet++, übertrifft. Der Code, die Modelle und eine Demo werden bald unter https://github.com/hustvl/ControlAR verfügbar sein.

English

Autoregressive (AR) models have reformulated image generation as next-token prediction, demonstrating remarkable potential and emerging as strong competitors to diffusion models. However, control-to-image generation, akin to ControlNet, remains largely unexplored within AR models. Although a natural approach, inspired by advancements in Large Language Models, is to tokenize control images into tokens and prefill them into the autoregressive model before decoding image tokens, it still falls short in generation quality compared to ControlNet and suffers from inefficiency. To this end, we introduce ControlAR, an efficient and effective framework for integrating spatial controls into autoregressive image generation models. Firstly, we explore control encoding for AR models and propose a lightweight control encoder to transform spatial inputs (e.g., canny edges or depth maps) into control tokens. Then ControlAR exploits the conditional decoding method to generate the next image token conditioned on the per-token fusion between control and image tokens, similar to positional encodings. Compared to prefilling tokens, using conditional decoding significantly strengthens the control capability of AR models but also maintains the model's efficiency. Furthermore, the proposed ControlAR surprisingly empowers AR models with arbitrary-resolution image generation via conditional decoding and specific controls. Extensive experiments can demonstrate the controllability of the proposed ControlAR for the autoregressive control-to-image generation across diverse inputs, including edges, depths, and segmentation masks. Furthermore, both quantitative and qualitative results indicate that ControlAR surpasses previous state-of-the-art controllable diffusion models, e.g., ControlNet++. Code, models, and demo will soon be available at https://github.com/hustvl/ControlAR.