カクテル：テキスト条件付き画像生成のためのマルチモーダル制御の融合

Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image Generation

June 1, 2023

著者: Minghui Hu, Jianbin Zheng, Daqing Liu, Chuanxia Zheng, Chaoyue Wang, Dacheng Tao, Tat-Jen Cham

cs.AI

要旨

テキスト条件付き拡散モデルは、多様な内容の高精細な画像を生成することが可能です。しかし、言語表現はしばしば想定される目的の画像を曖昧に記述するため、テキストガイド付き拡散モデルの効果を高めるために追加の制御信号の組み込みが必要となります。本研究では、Cocktailというパイプラインを提案します。これは、一般化されたControlNet（gControlNet）、制御可能な正規化（ControlNorm）、および空間的ガイダンスサンプリング手法を組み合わせて、複数のモダリティを一つの埋め込みに混合し、テキスト条件付き拡散モデルのためのマルチモーダルかつ空間的に洗練された制御を実現します。具体的には、異なるモダリティからの制御信号を事前学習済みの拡散モデルに整合・注入するために設計されたハイパーネットワークgControlNetを導入します。gControlNetは、柔軟なモダリティ信号を受け入れることが可能で、複数のモダリティ信号の同時受信や、複数のモダリティ信号の補完的な融合を含みます。制御信号は、提案されたControlNormに従って融合され、バックボーンモデルに注入されます。さらに、高度な空間的ガイダンスサンプリング手法により、制御信号を指定された領域に効果的に組み込み、生成画像内での望ましくないオブジェクトの出現を回避します。我々の手法が様々なモダリティを制御し、複数の外部信号に対する高品質な合成と忠実性を実現することを示します。

English

Text-conditional diffusion models are able to generate high-fidelity images with diverse contents. However, linguistic representations frequently exhibit ambiguous descriptions of the envisioned objective imagery, requiring the incorporation of additional control signals to bolster the efficacy of text-guided diffusion models. In this work, we propose Cocktail, a pipeline to mix various modalities into one embedding, amalgamated with a generalized ControlNet (gControlNet), a controllable normalisation (ControlNorm), and a spatial guidance sampling method, to actualize multi-modal and spatially-refined control for text-conditional diffusion models. Specifically, we introduce a hyper-network gControlNet, dedicated to the alignment and infusion of the control signals from disparate modalities into the pre-trained diffusion model. gControlNet is capable of accepting flexible modality signals, encompassing the simultaneous reception of any combination of modality signals, or the supplementary fusion of multiple modality signals. The control signals are then fused and injected into the backbone model according to our proposed ControlNorm. Furthermore, our advanced spatial guidance sampling methodology proficiently incorporates the control signal into the designated region, thereby circumventing the manifestation of undesired objects within the generated image. We demonstrate the results of our method in controlling various modalities, proving high-quality synthesis and fidelity to multiple external signals.