ChatPaper.aiChatPaper

Cocktail : Mélange de contrôles multi-modaux pour la génération d'images conditionnées par du texte

Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image Generation

June 1, 2023
Auteurs: Minghui Hu, Jianbin Zheng, Daqing Liu, Chuanxia Zheng, Chaoyue Wang, Dacheng Tao, Tat-Jen Cham
cs.AI

Résumé

Les modèles de diffusion conditionnés par le texte sont capables de générer des images de haute fidélité avec des contenus variés. Cependant, les représentations linguistiques présentent souvent des descriptions ambiguës de l'imagerie objective envisagée, nécessitant l'incorporation de signaux de contrôle supplémentaires pour renforcer l'efficacité des modèles de diffusion guidés par le texte. Dans ce travail, nous proposons Cocktail, un pipeline pour mélanger diverses modalités en un seul embedding, combiné avec un ControlNet généralisé (gControlNet), une normalisation contrôlée (ControlNorm), et une méthode d'échantillonnage guidé spatialement, afin de réaliser un contrôle multimodal et spatialement raffiné pour les modèles de diffusion conditionnés par le texte. Plus précisément, nous introduisons un hyper-réseau gControlNet, dédié à l'alignement et à l'infusion des signaux de contrôle provenant de modalités disparates dans le modèle de diffusion pré-entraîné. gControlNet est capable d'accepter des signaux de modalités flexibles, englobant la réception simultanée de toute combinaison de signaux de modalités, ou la fusion supplémentaire de multiples signaux de modalités. Les signaux de contrôle sont ensuite fusionnés et injectés dans le modèle principal selon notre ControlNorm proposé. De plus, notre méthodologie avancée d'échantillonnage guidé spatialement incorpore efficacement le signal de contrôle dans la région désignée, évitant ainsi la manifestation d'objets indésirables dans l'image générée. Nous démontrons les résultats de notre méthode dans le contrôle de diverses modalités, prouvant une synthèse de haute qualité et une fidélité à de multiples signaux externes.
English
Text-conditional diffusion models are able to generate high-fidelity images with diverse contents. However, linguistic representations frequently exhibit ambiguous descriptions of the envisioned objective imagery, requiring the incorporation of additional control signals to bolster the efficacy of text-guided diffusion models. In this work, we propose Cocktail, a pipeline to mix various modalities into one embedding, amalgamated with a generalized ControlNet (gControlNet), a controllable normalisation (ControlNorm), and a spatial guidance sampling method, to actualize multi-modal and spatially-refined control for text-conditional diffusion models. Specifically, we introduce a hyper-network gControlNet, dedicated to the alignment and infusion of the control signals from disparate modalities into the pre-trained diffusion model. gControlNet is capable of accepting flexible modality signals, encompassing the simultaneous reception of any combination of modality signals, or the supplementary fusion of multiple modality signals. The control signals are then fused and injected into the backbone model according to our proposed ControlNorm. Furthermore, our advanced spatial guidance sampling methodology proficiently incorporates the control signal into the designated region, thereby circumventing the manifestation of undesired objects within the generated image. We demonstrate the results of our method in controlling various modalities, proving high-quality synthesis and fidelity to multiple external signals.
PDF10December 15, 2024