ControlAR: Controleerbare beeldgeneratie met autoregressieve modellen

ControlAR: Controllable Image Generation with Autoregressive Models

October 3, 2024

Auteurs: Zongming Li, Tianheng Cheng, Shoufa Chen, Peize Sun, Haocheng Shen, Longjin Ran, Xiaoxin Chen, Wenyu Liu, Xinggang Wang

cs.AI

Samenvatting

Autoregressieve (AR) modellen hebben beeldgeneratie opnieuw geformuleerd als voorspelling van het volgende token, waarbij ze opmerkelijk potentieel hebben aangetoond en sterke concurrenten zijn geworden van diffusiemodellen. Echter, controle-naar-beeldgeneratie, vergelijkbaar met ControlNet, blijft grotendeels onontgonnen binnen AR-modellen. Hoewel een natuurlijke benadering, geïnspireerd door vooruitgang in Grote Taalmodellen, is om controlebeelden in tokens te tokeniseren en deze vooraf in te vullen in het autoregressieve model vóór het decoderen van beeldtokens, blijft het tekortschieten in generatiekwaliteit in vergelijking met ControlNet en heeft het last van inefficiëntie. Hier introduceren we daarom ControlAR, een efficiënt en effectief kader voor het integreren van ruimtelijke controles in autoregressieve beeldgeneratiemodellen. Allereerst verkennen we controle-encodering voor AR-modellen en stellen we een lichtgewicht controle-encoder voor om ruimtelijke invoergegevens (bijv. canny-lijnen of dieptekaarten) om te zetten in controle-tokens. Vervolgens maakt ControlAR gebruik van de conditionele decodeermethode om het volgende beeldtoken te genereren, geconditioneerd op de per-token fusie tussen controle- en beeldtokens, vergelijkbaar met positionele coderingen. In vergelijking met het vooraf invullen van tokens versterkt het gebruik van conditionele decodering aanzienlijk de controlecapaciteit van AR-modellen, maar behoudt het ook de efficiëntie van het model. Bovendien geeft de voorgestelde ControlAR AR-modellen verrassend genoeg de mogelijkheid tot beeldgeneratie met willekeurige resolutie via conditionele decodering en specifieke controles. Uitgebreide experimenten kunnen de controleerbaarheid van de voorgestelde ControlAR voor de autoregressieve controle-naar-beeldgeneratie aantonen over diverse invoergegevens, waaronder lijnen, dieptes en segmentatiemaskers. Bovendien geven zowel kwantitatieve als kwalitatieve resultaten aan dat ControlAR eerdere state-of-the-art controleerbare diffusiemodellen overtreft, bijvoorbeeld ControlNet++. Code, modellen en demo zullen binnenkort beschikbaar zijn op https://github.com/hustvl/ControlAR.

English

Autoregressive (AR) models have reformulated image generation as next-token prediction, demonstrating remarkable potential and emerging as strong competitors to diffusion models. However, control-to-image generation, akin to ControlNet, remains largely unexplored within AR models. Although a natural approach, inspired by advancements in Large Language Models, is to tokenize control images into tokens and prefill them into the autoregressive model before decoding image tokens, it still falls short in generation quality compared to ControlNet and suffers from inefficiency. To this end, we introduce ControlAR, an efficient and effective framework for integrating spatial controls into autoregressive image generation models. Firstly, we explore control encoding for AR models and propose a lightweight control encoder to transform spatial inputs (e.g., canny edges or depth maps) into control tokens. Then ControlAR exploits the conditional decoding method to generate the next image token conditioned on the per-token fusion between control and image tokens, similar to positional encodings. Compared to prefilling tokens, using conditional decoding significantly strengthens the control capability of AR models but also maintains the model's efficiency. Furthermore, the proposed ControlAR surprisingly empowers AR models with arbitrary-resolution image generation via conditional decoding and specific controls. Extensive experiments can demonstrate the controllability of the proposed ControlAR for the autoregressive control-to-image generation across diverse inputs, including edges, depths, and segmentation masks. Furthermore, both quantitative and qualitative results indicate that ControlAR surpasses previous state-of-the-art controllable diffusion models, e.g., ControlNet++. Code, models, and demo will soon be available at https://github.com/hustvl/ControlAR.