OmniBooth: Erlernen latenter Steuerung für die Bildsynthese mit multimodaler Anleitung

OmniBooth: Learning Latent Control for Image Synthesis with Multi-modal Instruction

October 7, 2024

Autoren: Leheng Li, Weichao Qiu, Xu Yan, Jing He, Kaiqiang Zhou, Yingjie Cai, Qing Lian, Bingbing Liu, Ying-Cong Chen

cs.AI

Zusammenfassung

Wir präsentieren OmniBooth, ein Bildgenerierungs-Framework, das räumliche Steuerung mit instanzspezifischer multimodaler Anpassung ermöglicht. Für alle Instanzen kann die multimodale Anweisung durch Texteingaben oder Bildreferenzen beschrieben werden. Unter Verwendung einer Reihe von benutzerdefinierten Masken und zugehörigen Text- oder Bildanleitungen ist unser Ziel, ein Bild zu generieren, bei dem mehrere Objekte an bestimmten Koordinaten positioniert sind und deren Attribute präzise mit den entsprechenden Anleitungen ausgerichtet sind. Dieser Ansatz erweitert signifikant den Bereich der Text-zu-Bild-Generierung und hebt ihn auf eine vielseitigere und praktischere Dimension in Bezug auf Steuerbarkeit. In diesem Paper liegt unser Hauptbeitrag in den vorgeschlagenen latenten Steuersignalen, einem hochdimensionalen räumlichen Merkmal, das eine vereinheitlichte Darstellung bietet, um die räumlichen, textuellen und Bildbedingungen nahtlos zu integrieren. Die Textbedingung erweitert ControlNet, um eine instanzspezifische Open-Vocabulary-Generierung bereitzustellen. Die Bildbedingung ermöglicht zudem eine feinkörnige Steuerung mit personalisierter Identität. In der Praxis verleiht unsere Methode den Benutzern mehr Flexibilität bei der steuerbaren Generierung, da Benutzer je nach Bedarf multimodale Bedingungen aus Texten oder Bildern wählen können. Darüber hinaus zeigen gründliche Experimente unsere verbesserte Leistung in der Bildsynthesequalität und Ausrichtung über verschiedene Aufgaben und Datensätze hinweg. Projektseite: https://len-li.github.io/omnibooth-web/

English

We present OmniBooth, an image generation framework that enables spatial control with instance-level multi-modal customization. For all instances, the multimodal instruction can be described through text prompts or image references. Given a set of user-defined masks and associated text or image guidance, our objective is to generate an image, where multiple objects are positioned at specified coordinates and their attributes are precisely aligned with the corresponding guidance. This approach significantly expands the scope of text-to-image generation, and elevates it to a more versatile and practical dimension in controllability. In this paper, our core contribution lies in the proposed latent control signals, a high-dimensional spatial feature that provides a unified representation to integrate the spatial, textual, and image conditions seamlessly. The text condition extends ControlNet to provide instance-level open-vocabulary generation. The image condition further enables fine-grained control with personalized identity. In practice, our method empowers users with more flexibility in controllable generation, as users can choose multi-modal conditions from text or images as needed. Furthermore, thorough experiments demonstrate our enhanced performance in image synthesis fidelity and alignment across different tasks and datasets. Project page: https://len-li.github.io/omnibooth-web/