ControlAR: Geração de Imagens Controláveis com Modelos Autoregressivos

ControlAR: Controllable Image Generation with Autoregressive Models

October 3, 2024

Autores: Zongming Li, Tianheng Cheng, Shoufa Chen, Peize Sun, Haocheng Shen, Longjin Ran, Xiaoxin Chen, Wenyu Liu, Xinggang Wang

cs.AI

Resumo

Os modelos autorregressivos (AR) reformularam a geração de imagens como previsão do próximo token, demonstrando um potencial notável e emergindo como fortes concorrentes aos modelos de difusão. No entanto, a geração de imagem controlada, semelhante ao ControlNet, permanece amplamente inexplorada nos modelos AR. Embora uma abordagem natural, inspirada nos avanços em Grandes Modelos de Linguagem, seja tokenizar imagens de controle em tokens e pré-preenchê-los no modelo autorregressivo antes de decodificar os tokens de imagem, ainda fica aquém em qualidade de geração em comparação com o ControlNet e sofre de ineficiência. Para isso, apresentamos o ControlAR, um framework eficiente e eficaz para integrar controles espaciais em modelos de geração de imagens autorregressivos. Em primeiro lugar, exploramos a codificação de controle para modelos AR e propomos um codificador de controle leve para transformar entradas espaciais (por exemplo, bordas canny ou mapas de profundidade) em tokens de controle. Em seguida, o ControlAR explora o método de decodificação condicional para gerar o próximo token de imagem condicionado à fusão por token entre controles e tokens de imagem, semelhante às codificações posicionais. Em comparação com o pré-preenchimento de tokens, o uso da decodificação condicional fortalece significativamente a capacidade de controle dos modelos AR, mantendo a eficiência do modelo. Além disso, o ControlAR proposto capacita surpreendentemente os modelos AR com geração de imagens de resolução arbitrária via decodificação condicional e controles específicos. Experimentos extensos podem demonstrar a controlabilidade do ControlAR proposto para a geração autorregressiva de imagem controlada em diversos inputs, incluindo bordas, profundidades e máscaras de segmentação. Além disso, tanto os resultados quantitativos quanto qualitativos indicam que o ControlAR supera os modelos de difusão controláveis anteriores de última geração, como o ControlNet++. O código, os modelos e a demonstração em breve estarão disponíveis em https://github.com/hustvl/ControlAR.

English

Autoregressive (AR) models have reformulated image generation as next-token prediction, demonstrating remarkable potential and emerging as strong competitors to diffusion models. However, control-to-image generation, akin to ControlNet, remains largely unexplored within AR models. Although a natural approach, inspired by advancements in Large Language Models, is to tokenize control images into tokens and prefill them into the autoregressive model before decoding image tokens, it still falls short in generation quality compared to ControlNet and suffers from inefficiency. To this end, we introduce ControlAR, an efficient and effective framework for integrating spatial controls into autoregressive image generation models. Firstly, we explore control encoding for AR models and propose a lightweight control encoder to transform spatial inputs (e.g., canny edges or depth maps) into control tokens. Then ControlAR exploits the conditional decoding method to generate the next image token conditioned on the per-token fusion between control and image tokens, similar to positional encodings. Compared to prefilling tokens, using conditional decoding significantly strengthens the control capability of AR models but also maintains the model's efficiency. Furthermore, the proposed ControlAR surprisingly empowers AR models with arbitrary-resolution image generation via conditional decoding and specific controls. Extensive experiments can demonstrate the controllability of the proposed ControlAR for the autoregressive control-to-image generation across diverse inputs, including edges, depths, and segmentation masks. Furthermore, both quantitative and qualitative results indicate that ControlAR surpasses previous state-of-the-art controllable diffusion models, e.g., ControlNet++. Code, models, and demo will soon be available at https://github.com/hustvl/ControlAR.