OmniBooth: Aprendizaje de Control Latente para la Síntesis de Imágenes con Instrucciones Multi-modales

OmniBooth: Learning Latent Control for Image Synthesis with Multi-modal Instruction

October 7, 2024

Autores: Leheng Li, Weichao Qiu, Xu Yan, Jing He, Kaiqiang Zhou, Yingjie Cai, Qing Lian, Bingbing Liu, Ying-Cong Chen

cs.AI

Resumen

Presentamos OmniBooth, un marco de generación de imágenes que permite control espacial con personalización multimodal a nivel de instancia. Para todas las instancias, la instrucción multimodal se puede describir a través de indicaciones de texto o referencias de imágenes. Dado un conjunto de máscaras definidas por el usuario y orientación de texto o imagen asociada, nuestro objetivo es generar una imagen donde múltiples objetos estén posicionados en coordenadas especificadas y sus atributos estén alineados de manera precisa con la orientación correspondiente. Este enfoque amplía significativamente el alcance de la generación de texto a imagen, elevándolo a una dimensión más versátil y práctica en términos de controlabilidad. En este documento, nuestra contribución principal radica en las señales de control latentes propuestas, una característica espacial de alta dimensionalidad que proporciona una representación unificada para integrar las condiciones espaciales, textuales e de imagen de manera fluida. La condición de texto extiende ControlNet para proporcionar generación de vocabulario abierto a nivel de instancia. La condición de imagen además permite un control detallado con identidad personalizada. En la práctica, nuestro método otorga a los usuarios una mayor flexibilidad en la generación controlable, ya que los usuarios pueden elegir condiciones multimodales de texto o imágenes según sea necesario. Además, experimentos exhaustivos demuestran nuestro rendimiento mejorado en fidelidad de síntesis de imágenes y alineación en diferentes tareas y conjuntos de datos. Página del proyecto: https://len-li.github.io/omnibooth-web/

English

We present OmniBooth, an image generation framework that enables spatial control with instance-level multi-modal customization. For all instances, the multimodal instruction can be described through text prompts or image references. Given a set of user-defined masks and associated text or image guidance, our objective is to generate an image, where multiple objects are positioned at specified coordinates and their attributes are precisely aligned with the corresponding guidance. This approach significantly expands the scope of text-to-image generation, and elevates it to a more versatile and practical dimension in controllability. In this paper, our core contribution lies in the proposed latent control signals, a high-dimensional spatial feature that provides a unified representation to integrate the spatial, textual, and image conditions seamlessly. The text condition extends ControlNet to provide instance-level open-vocabulary generation. The image condition further enables fine-grained control with personalized identity. In practice, our method empowers users with more flexibility in controllable generation, as users can choose multi-modal conditions from text or images as needed. Furthermore, thorough experiments demonstrate our enhanced performance in image synthesis fidelity and alignment across different tasks and datasets. Project page: https://len-li.github.io/omnibooth-web/