ContrôleAR : Génération d'images contrôlable avec des modèles autorégressifs

ControlAR: Controllable Image Generation with Autoregressive Models

October 3, 2024

Auteurs: Zongming Li, Tianheng Cheng, Shoufa Chen, Peize Sun, Haocheng Shen, Longjin Ran, Xiaoxin Chen, Wenyu Liu, Xinggang Wang

cs.AI

Résumé

Les modèles autorégressifs (AR) ont reformulé la génération d'images en tant que prédiction du prochain jeton, démontrant un potentiel remarquable et émergeant comme de solides concurrents aux modèles de diffusion. Cependant, la génération d'images à partir de contrôles, similaire à ControlNet, reste largement inexplorée au sein des modèles AR. Bien qu'une approche naturelle, inspirée par les avancées des grands modèles de langage, consiste à tokeniser les images de contrôle en jetons et à les pré-remplir dans le modèle autorégressif avant de décoder les jetons d'image, cela reste insuffisant en termes de qualité de génération par rapport à ControlNet et souffre d'inefficacité. À cette fin, nous introduisons ControlAR, un cadre efficace et efficace pour intégrer des contrôles spatiaux dans les modèles de génération d'images autorégressifs. Tout d'abord, nous explorons le codage des contrôles pour les modèles AR et proposons un encodeur de contrôle léger pour transformer les entrées spatiales (par exemple, les bords de Canny ou les cartes de profondeur) en jetons de contrôle. Ensuite, ControlAR exploite la méthode de décodage conditionnel pour générer le prochain jeton d'image conditionné à la fusion par jeton entre les jetons de contrôle et d'image, similaire aux encodages positionnels. Par rapport au pré-remplissage des jetons, l'utilisation du décodage conditionnel renforce considérablement la capacité de contrôle des modèles AR tout en maintenant l'efficacité du modèle. De plus, le ControlAR proposé renforce de manière surprenante les modèles AR avec une génération d'images à résolution arbitraire via le décodage conditionnel et des contrôles spécifiques. Des expériences approfondies peuvent démontrer la contrôlabilité du ControlAR proposé pour la génération d'images de contrôle à image autorégressive à travers diverses entrées, y compris les bords, les profondeurs et les masques de segmentation. De plus, les résultats quantitatifs et qualitatifs indiquent que ControlAR surpasse les modèles de diffusion contrôlables précédents de pointe, par exemple, ControlNet++. Le code, les modèles et la démo seront bientôt disponibles sur https://github.com/hustvl/ControlAR.

English

Autoregressive (AR) models have reformulated image generation as next-token prediction, demonstrating remarkable potential and emerging as strong competitors to diffusion models. However, control-to-image generation, akin to ControlNet, remains largely unexplored within AR models. Although a natural approach, inspired by advancements in Large Language Models, is to tokenize control images into tokens and prefill them into the autoregressive model before decoding image tokens, it still falls short in generation quality compared to ControlNet and suffers from inefficiency. To this end, we introduce ControlAR, an efficient and effective framework for integrating spatial controls into autoregressive image generation models. Firstly, we explore control encoding for AR models and propose a lightweight control encoder to transform spatial inputs (e.g., canny edges or depth maps) into control tokens. Then ControlAR exploits the conditional decoding method to generate the next image token conditioned on the per-token fusion between control and image tokens, similar to positional encodings. Compared to prefilling tokens, using conditional decoding significantly strengthens the control capability of AR models but also maintains the model's efficiency. Furthermore, the proposed ControlAR surprisingly empowers AR models with arbitrary-resolution image generation via conditional decoding and specific controls. Extensive experiments can demonstrate the controllability of the proposed ControlAR for the autoregressive control-to-image generation across diverse inputs, including edges, depths, and segmentation masks. Furthermore, both quantitative and qualitative results indicate that ControlAR surpasses previous state-of-the-art controllable diffusion models, e.g., ControlNet++. Code, models, and demo will soon be available at https://github.com/hustvl/ControlAR.