Cocktail: Kombination multimodaler Steuerungen für textbedingte Bildgenerierung

Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image Generation

June 1, 2023

Autoren: Minghui Hu, Jianbin Zheng, Daqing Liu, Chuanxia Zheng, Chaoyue Wang, Dacheng Tao, Tat-Jen Cham

cs.AI

Zusammenfassung

Text-konditionale Diffusionsmodelle sind in der Lage, hochauflösende Bilder mit vielfältigen Inhalten zu generieren. Allerdings weisen linguistische Repräsentationen häufig mehrdeutige Beschreibungen der angestrebten Zielbilder auf, was die Einbindung zusätzlicher Steuersignale erfordert, um die Effektivität von textgesteuerten Diffusionsmodellen zu erhöhen. In dieser Arbeit schlagen wir Cocktail vor, eine Pipeline zur Kombination verschiedener Modalitäten in einem Embedding, die mit einem generalisierten ControlNet (gControlNet), einer kontrollierbaren Normalisierung (ControlNorm) und einer räumlichen Steuerungs-Sampling-Methode kombiniert wird, um eine multimodale und räumlich verfeinerte Steuerung für text-konditionale Diffusionsmodelle zu realisieren. Konkret führen wir ein Hyper-Netzwerk gControlNet ein, das der Ausrichtung und Einbindung der Steuersignale aus verschiedenen Modalitäten in das vortrainierte Diffusionsmodell dient. gControlNet ist in der Lage, flexible Modalsignale zu akzeptieren, einschließlich der gleichzeitigen Aufnahme beliebiger Kombinationen von Modalsignalen oder der zusätzlichen Fusion mehrerer Modalsignale. Die Steuersignale werden dann gemäß unserer vorgeschlagenen ControlNorm fusioniert und in das Backbone-Modell injiziert. Darüber hinaus integriert unsere fortschrittliche räumliche Steuerungs-Sampling-Methode das Steuersignal effizient in den vorgesehenen Bereich und verhindert so das Auftreten unerwünschter Objekte im generierten Bild. Wir demonstrieren die Ergebnisse unserer Methode zur Steuerung verschiedener Modalitäten und belegen eine hochwertige Synthese und Treue zu mehreren externen Signalen.

English

Text-conditional diffusion models are able to generate high-fidelity images with diverse contents. However, linguistic representations frequently exhibit ambiguous descriptions of the envisioned objective imagery, requiring the incorporation of additional control signals to bolster the efficacy of text-guided diffusion models. In this work, we propose Cocktail, a pipeline to mix various modalities into one embedding, amalgamated with a generalized ControlNet (gControlNet), a controllable normalisation (ControlNorm), and a spatial guidance sampling method, to actualize multi-modal and spatially-refined control for text-conditional diffusion models. Specifically, we introduce a hyper-network gControlNet, dedicated to the alignment and infusion of the control signals from disparate modalities into the pre-trained diffusion model. gControlNet is capable of accepting flexible modality signals, encompassing the simultaneous reception of any combination of modality signals, or the supplementary fusion of multiple modality signals. The control signals are then fused and injected into the backbone model according to our proposed ControlNorm. Furthermore, our advanced spatial guidance sampling methodology proficiently incorporates the control signal into the designated region, thereby circumventing the manifestation of undesired objects within the generated image. We demonstrate the results of our method in controlling various modalities, proving high-quality synthesis and fidelity to multiple external signals.