ControlAR: Generación de Imágenes Controlable con Modelos Autoregresivos

ControlAR: Controllable Image Generation with Autoregressive Models

October 3, 2024

Autores: Zongming Li, Tianheng Cheng, Shoufa Chen, Peize Sun, Haocheng Shen, Longjin Ran, Xiaoxin Chen, Wenyu Liu, Xinggang Wang

cs.AI

Resumen

Los modelos autorregresivos (AR) han reformulado la generación de imágenes como predicción del siguiente token, demostrando un potencial notable y emergiendo como fuertes competidores de los modelos de difusión. Sin embargo, la generación de imágenes controladas, similar a ControlNet, sigue siendo en gran medida inexplorada dentro de los modelos AR. Aunque un enfoque natural, inspirado en los avances en Modelos de Lenguaje Grandes, es tokenizar imágenes de control en tokens y precargarlos en el modelo autorregresivo antes de decodificar los tokens de imagen, aún queda corto en calidad de generación en comparación con ControlNet y sufre de ineficiencia. Con este fin, presentamos ControlAR, un marco eficiente y efectivo para integrar controles espaciales en modelos autorregresivos de generación de imágenes. En primer lugar, exploramos la codificación de control para los modelos AR y proponemos un codificador de control ligero para transformar entradas espaciales (por ejemplo, bordes de Canny o mapas de profundidad) en tokens de control. Luego, ControlAR explota el método de decodificación condicional para generar el siguiente token de imagen condicionado a la fusión por token entre los tokens de control e imagen, similar a las codificaciones posicionales. En comparación con la precarga de tokens, el uso de la decodificación condicional fortalece significativamente la capacidad de control de los modelos AR pero también mantiene la eficiencia del modelo. Además, el ControlAR propuesto potencia sorprendentemente a los modelos AR con generación de imágenes de resolución arbitraria a través de la decodificación condicional y controles específicos. Experimentos extensos pueden demostrar la controlabilidad del ControlAR propuesto para la generación autorregresiva de control a imagen a través de diversas entradas, incluidos bordes, profundidades y máscaras de segmentación. Además, tanto los resultados cuantitativos como cualitativos indican que ControlAR supera a los modelos de difusión controlables anteriores de última generación, por ejemplo, ControlNet++. El código, los modelos y la demostración estarán disponibles próximamente en https://github.com/hustvl/ControlAR.

English

Autoregressive (AR) models have reformulated image generation as next-token prediction, demonstrating remarkable potential and emerging as strong competitors to diffusion models. However, control-to-image generation, akin to ControlNet, remains largely unexplored within AR models. Although a natural approach, inspired by advancements in Large Language Models, is to tokenize control images into tokens and prefill them into the autoregressive model before decoding image tokens, it still falls short in generation quality compared to ControlNet and suffers from inefficiency. To this end, we introduce ControlAR, an efficient and effective framework for integrating spatial controls into autoregressive image generation models. Firstly, we explore control encoding for AR models and propose a lightweight control encoder to transform spatial inputs (e.g., canny edges or depth maps) into control tokens. Then ControlAR exploits the conditional decoding method to generate the next image token conditioned on the per-token fusion between control and image tokens, similar to positional encodings. Compared to prefilling tokens, using conditional decoding significantly strengthens the control capability of AR models but also maintains the model's efficiency. Furthermore, the proposed ControlAR surprisingly empowers AR models with arbitrary-resolution image generation via conditional decoding and specific controls. Extensive experiments can demonstrate the controllability of the proposed ControlAR for the autoregressive control-to-image generation across diverse inputs, including edges, depths, and segmentation masks. Furthermore, both quantitative and qualitative results indicate that ControlAR surpasses previous state-of-the-art controllable diffusion models, e.g., ControlNet++. Code, models, and demo will soon be available at https://github.com/hustvl/ControlAR.