ControlAR: Управляемая генерация изображений с авторегрессионными моделями

ControlAR: Controllable Image Generation with Autoregressive Models

October 3, 2024

Авторы: Zongming Li, Tianheng Cheng, Shoufa Chen, Peize Sun, Haocheng Shen, Longjin Ran, Xiaoxin Chen, Wenyu Liu, Xinggang Wang

cs.AI

Аннотация

Модели авторегрессии (AR) переформулировали генерацию изображений как предсказание следующего токена, продемонстрировав замечательный потенциал и став сильными конкурентами для моделей диффузии. Однако генерация изображений с управлением, аналогичная ControlNet, остается в значительной степени неисследованной в рамках моделей AR. Хотя естественным подходом, вдохновленным достижениями в области крупных языковых моделей, является токенизация управляющих изображений на токены и предварительная загрузка их в модель авторегрессии перед декодированием токенов изображений, это все еще уступает по качеству генерации по сравнению с ControlNet и страдает от неэффективности. В этой связи мы представляем ControlAR, эффективную и эффективную структуру для интеграции пространственного управления в модели генерации изображений с использованием авторегрессии. Во-первых, мы исследуем кодирование управления для моделей AR и предлагаем легкий кодер управления для преобразования пространственных входов (например, края Канни или карты глубины) в управляющие токены. Затем ControlAR использует метод условного декодирования для генерации следующего токена изображения на основе объединения между токенами управления и изображения, аналогичного позиционным кодирования. По сравнению с предварительной загрузкой токенов, использование условного декодирования значительно укрепляет возможности управления моделями AR, но также сохраняет эффективность модели. Более того, предложенный ControlAR удивительным образом дает возможность моделям AR генерировать изображения произвольного разрешения с помощью условного декодирования и определенного управления. Обширные эксперименты могут продемонстрировать управляемость предложенного ControlAR для авторегрессивной генерации изображений с управлением по различным входам, включая края, глубины и маски сегментации. Кроме того, как количественные, так и качественные результаты показывают, что ControlAR превосходит предыдущие передовые модели диффузии с управлением, например, ControlNet++. Код, модели и демонстрация будут скоро доступны на https://github.com/hustvl/ControlAR.

English

Autoregressive (AR) models have reformulated image generation as next-token prediction, demonstrating remarkable potential and emerging as strong competitors to diffusion models. However, control-to-image generation, akin to ControlNet, remains largely unexplored within AR models. Although a natural approach, inspired by advancements in Large Language Models, is to tokenize control images into tokens and prefill them into the autoregressive model before decoding image tokens, it still falls short in generation quality compared to ControlNet and suffers from inefficiency. To this end, we introduce ControlAR, an efficient and effective framework for integrating spatial controls into autoregressive image generation models. Firstly, we explore control encoding for AR models and propose a lightweight control encoder to transform spatial inputs (e.g., canny edges or depth maps) into control tokens. Then ControlAR exploits the conditional decoding method to generate the next image token conditioned on the per-token fusion between control and image tokens, similar to positional encodings. Compared to prefilling tokens, using conditional decoding significantly strengthens the control capability of AR models but also maintains the model's efficiency. Furthermore, the proposed ControlAR surprisingly empowers AR models with arbitrary-resolution image generation via conditional decoding and specific controls. Extensive experiments can demonstrate the controllability of the proposed ControlAR for the autoregressive control-to-image generation across diverse inputs, including edges, depths, and segmentation masks. Furthermore, both quantitative and qualitative results indicate that ControlAR surpasses previous state-of-the-art controllable diffusion models, e.g., ControlNet++. Code, models, and demo will soon be available at https://github.com/hustvl/ControlAR.