ControlAR: Generazione di immagini controllabile con modelli autoregressivi

ControlAR: Controllable Image Generation with Autoregressive Models

October 3, 2024

Autori: Zongming Li, Tianheng Cheng, Shoufa Chen, Peize Sun, Haocheng Shen, Longjin Ran, Xiaoxin Chen, Wenyu Liu, Xinggang Wang

cs.AI

Abstract

I modelli autoregressivi (AR) hanno riformulato la generazione di immagini come previsione del token successivo, dimostrando un notevole potenziale ed emergendo come forti concorrenti dei modelli a diffusione. Tuttavia, la generazione di immagini da controllo, simile a ControlNet, rimane in gran parte inesplorata all'interno dei modelli AR. Sebbene un approccio naturale, ispirato agli avanzamenti nei Grandi Modelli Linguistici, sia quello di tokenizzare le immagini di controllo in token e precaricarli nel modello autoregressivo prima di decodificare i token delle immagini, questo approccio rimane ancora indietro in termini di qualità generativa rispetto a ControlNet e soffre di inefficienza. A tal fine, presentiamo ControlAR, un framework efficiente ed efficace per integrare i controlli spaziali nei modelli di generazione di immagini autoregressivi. In primo luogo, esploriamo la codifica del controllo per i modelli AR e proponiamo un codificatore di controllo leggero per trasformare gli input spaziali (ad esempio, bordi di canny o mappe di profondità) in token di controllo. Successivamente, ControlAR sfrutta il metodo di decodifica condizionale per generare il token dell'immagine successiva condizionato alla fusione per token tra controllo e immagine, simile alle codifiche posizionali. Rispetto alla precaricamento dei token, l'utilizzo della decodifica condizionale rafforza significativamente la capacità di controllo dei modelli AR ma mantiene anche l'efficienza del modello. Inoltre, il ControlAR proposto potenzia sorprendentemente i modelli AR con la generazione di immagini a risoluzione arbitraria tramite decodifica condizionale e controlli specifici. Estesi esperimenti possono dimostrare la controllabilità del ControlAR proposto per la generazione di immagini da controllo autoregressivo su input diversi, inclusi bordi, profondità e maschere di segmentazione. Inoltre, i risultati quantitativi e qualitativi indicano che ControlAR supera i modelli di diffusione controllabili di ultima generazione, ad esempio ControlNet++. Il codice, i modelli e la demo saranno presto disponibili su https://github.com/hustvl/ControlAR.

English

Autoregressive (AR) models have reformulated image generation as next-token prediction, demonstrating remarkable potential and emerging as strong competitors to diffusion models. However, control-to-image generation, akin to ControlNet, remains largely unexplored within AR models. Although a natural approach, inspired by advancements in Large Language Models, is to tokenize control images into tokens and prefill them into the autoregressive model before decoding image tokens, it still falls short in generation quality compared to ControlNet and suffers from inefficiency. To this end, we introduce ControlAR, an efficient and effective framework for integrating spatial controls into autoregressive image generation models. Firstly, we explore control encoding for AR models and propose a lightweight control encoder to transform spatial inputs (e.g., canny edges or depth maps) into control tokens. Then ControlAR exploits the conditional decoding method to generate the next image token conditioned on the per-token fusion between control and image tokens, similar to positional encodings. Compared to prefilling tokens, using conditional decoding significantly strengthens the control capability of AR models but also maintains the model's efficiency. Furthermore, the proposed ControlAR surprisingly empowers AR models with arbitrary-resolution image generation via conditional decoding and specific controls. Extensive experiments can demonstrate the controllability of the proposed ControlAR for the autoregressive control-to-image generation across diverse inputs, including edges, depths, and segmentation masks. Furthermore, both quantitative and qualitative results indicate that ControlAR surpasses previous state-of-the-art controllable diffusion models, e.g., ControlNet++. Code, models, and demo will soon be available at https://github.com/hustvl/ControlAR.