Cocktail: Het combineren van multi-modaliteitscontroles voor tekstgeconditioneerde beeldgeneratie

Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image Generation

June 1, 2023

Auteurs: Minghui Hu, Jianbin Zheng, Daqing Liu, Chuanxia Zheng, Chaoyue Wang, Dacheng Tao, Tat-Jen Cham

cs.AI

Samenvatting

Tekst-conditionele diffusiemodellen zijn in staat om hoogwaardige afbeeldingen te genereren met diverse inhoud. Linguïstische representaties vertonen echter vaak dubbelzinnige beschrijvingen van het beoogde doelbeeld, wat de integratie van aanvullende controlesignalen vereist om de effectiviteit van tekstgeleide diffusiemodellen te versterken. In dit werk stellen we Cocktail voor, een pijplijn om verschillende modaliteiten te combineren in één embedding, gecombineerd met een gegeneraliseerd ControlNet (gControlNet), een controleerbare normalisatie (ControlNorm), en een ruimtelijke begeleidingssteekproefmethode, om multi-modale en ruimtelijk verfijnde controle te realiseren voor tekst-conditionele diffusiemodellen. Specifiek introduceren we een hyper-netwerk gControlNet, gewijd aan de uitlijning en infusie van de controlesignalen van verschillende modaliteiten in het vooraf getrainde diffusiemodel. gControlNet is in staat om flexibele modaliteitssignalen te accepteren, waaronder de gelijktijdige ontvangst van elke combinatie van modaliteitssignalen, of de aanvullende fusie van meerdere modaliteitssignalen. De controlesignalen worden vervolgens samengevoegd en geïnjecteerd in het backbone-model volgens onze voorgestelde ControlNorm. Bovendien incorporeert onze geavanceerde ruimtelijke begeleidingssteekproefmethodologie het controlesignaal vaardig in het aangewezen gebied, waardoor het ontstaan van ongewenste objecten binnen de gegenereerde afbeelding wordt voorkomen. We demonstreren de resultaten van onze methode in het controleren van verschillende modaliteiten, waarbij hoogwaardige synthese en trouw aan meerdere externe signalen worden bewezen.

English

Text-conditional diffusion models are able to generate high-fidelity images with diverse contents. However, linguistic representations frequently exhibit ambiguous descriptions of the envisioned objective imagery, requiring the incorporation of additional control signals to bolster the efficacy of text-guided diffusion models. In this work, we propose Cocktail, a pipeline to mix various modalities into one embedding, amalgamated with a generalized ControlNet (gControlNet), a controllable normalisation (ControlNorm), and a spatial guidance sampling method, to actualize multi-modal and spatially-refined control for text-conditional diffusion models. Specifically, we introduce a hyper-network gControlNet, dedicated to the alignment and infusion of the control signals from disparate modalities into the pre-trained diffusion model. gControlNet is capable of accepting flexible modality signals, encompassing the simultaneous reception of any combination of modality signals, or the supplementary fusion of multiple modality signals. The control signals are then fused and injected into the backbone model according to our proposed ControlNorm. Furthermore, our advanced spatial guidance sampling methodology proficiently incorporates the control signal into the designated region, thereby circumventing the manifestation of undesired objects within the generated image. We demonstrate the results of our method in controlling various modalities, proving high-quality synthesis and fidelity to multiple external signals.