OmniBooth: Обучение скрытому управлению для синтеза изображений с мультимодальным инструктированием

OmniBooth: Learning Latent Control for Image Synthesis with Multi-modal Instruction

October 7, 2024

Авторы: Leheng Li, Weichao Qiu, Xu Yan, Jing He, Kaiqiang Zhou, Yingjie Cai, Qing Lian, Bingbing Liu, Ying-Cong Chen

cs.AI

Аннотация

Мы представляем OmniBooth, фреймворк генерации изображений, который обеспечивает пространственный контроль с многомодальной настройкой на уровне экземпляра. Для всех экземпляров многомодальная инструкция может быть описана с помощью текстовых подсказок или изображений. Учитывая набор пользовательских масок и соответствующих текстовых или изображенческих указаний, нашей целью является генерация изображения, где несколько объектов размещены в указанных координатах, и их атрибуты точно соответствуют соответствующим указаниям. Этот подход значительно расширяет область генерации текста в изображение и повышает ее до более универсального и практичного уровня контролируемости. В данной статье наш основной вклад заключается в предложенных скрытых сигналах управления, высокоразмерной пространственной особенности, которая обеспечивает объединенное представление для интеграции пространственных, текстовых и изображенческих условий без проблем. Условие текста расширяет ControlNet для обеспечения генерации экземпляров с открытым словарем. Условие изображения дополнительно обеспечивает детализированный контроль с персонализированной идентичностью. На практике наш метод дает пользователям большую гибкость в контролируемой генерации, поскольку пользователи могут выбирать многомодальные условия из текста или изображений по мере необходимости. Кроме того, тщательные эксперименты демонстрируют наше улучшенное качество синтеза изображений и выравнивание на различных задачах и наборах данных. Страница проекта: https://len-li.github.io/omnibooth-web/

English

We present OmniBooth, an image generation framework that enables spatial control with instance-level multi-modal customization. For all instances, the multimodal instruction can be described through text prompts or image references. Given a set of user-defined masks and associated text or image guidance, our objective is to generate an image, where multiple objects are positioned at specified coordinates and their attributes are precisely aligned with the corresponding guidance. This approach significantly expands the scope of text-to-image generation, and elevates it to a more versatile and practical dimension in controllability. In this paper, our core contribution lies in the proposed latent control signals, a high-dimensional spatial feature that provides a unified representation to integrate the spatial, textual, and image conditions seamlessly. The text condition extends ControlNet to provide instance-level open-vocabulary generation. The image condition further enables fine-grained control with personalized identity. In practice, our method empowers users with more flexibility in controllable generation, as users can choose multi-modal conditions from text or images as needed. Furthermore, thorough experiments demonstrate our enhanced performance in image synthesis fidelity and alignment across different tasks and datasets. Project page: https://len-li.github.io/omnibooth-web/