Cocktail: Combinando Controles Multimodais para Geração de Imagens Condicionadas por Texto

Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image Generation

June 1, 2023

Autores: Minghui Hu, Jianbin Zheng, Daqing Liu, Chuanxia Zheng, Chaoyue Wang, Dacheng Tao, Tat-Jen Cham

cs.AI

Resumo

Modelos de difusão condicionados por texto são capazes de gerar imagens de alta fidelidade com conteúdos diversos. No entanto, as representações linguísticas frequentemente exibem descrições ambíguas da imagética objetiva pretendida, exigindo a incorporação de sinais de controle adicionais para reforçar a eficácia dos modelos de difusão guiados por texto. Neste trabalho, propomos o Cocktail, um pipeline para misturar várias modalidades em um único embedding, combinado com um ControlNet generalizado (gControlNet), uma normalização controlável (ControlNorm) e um método de amostragem com orientação espacial, para realizar o controle multimodal e refinado espacialmente em modelos de difusão condicionados por texto. Especificamente, introduzimos um hiper-rede gControlNet, dedicado ao alinhamento e infusão dos sinais de controle de modalidades distintas no modelo de difusão pré-treinado. O gControlNet é capaz de aceitar sinais de modalidade flexíveis, abrangendo a recepção simultânea de qualquer combinação de sinais de modalidade ou a fusão suplementar de múltiplos sinais de modalidade. Os sinais de controle são então fundidos e injetados no modelo principal de acordo com o nosso ControlNorm proposto. Além disso, nossa metodologia avançada de amostragem com orientação espacial incorpora proficuamente o sinal de controle na região designada, evitando assim a manifestação de objetos indesejados na imagem gerada. Demonstramos os resultados do nosso método no controle de várias modalidades, comprovando a síntese de alta qualidade e a fidelidade a múltiplos sinais externos.

English

Text-conditional diffusion models are able to generate high-fidelity images with diverse contents. However, linguistic representations frequently exhibit ambiguous descriptions of the envisioned objective imagery, requiring the incorporation of additional control signals to bolster the efficacy of text-guided diffusion models. In this work, we propose Cocktail, a pipeline to mix various modalities into one embedding, amalgamated with a generalized ControlNet (gControlNet), a controllable normalisation (ControlNorm), and a spatial guidance sampling method, to actualize multi-modal and spatially-refined control for text-conditional diffusion models. Specifically, we introduce a hyper-network gControlNet, dedicated to the alignment and infusion of the control signals from disparate modalities into the pre-trained diffusion model. gControlNet is capable of accepting flexible modality signals, encompassing the simultaneous reception of any combination of modality signals, or the supplementary fusion of multiple modality signals. The control signals are then fused and injected into the backbone model according to our proposed ControlNorm. Furthermore, our advanced spatial guidance sampling methodology proficiently incorporates the control signal into the designated region, thereby circumventing the manifestation of undesired objects within the generated image. We demonstrate the results of our method in controlling various modalities, proving high-quality synthesis and fidelity to multiple external signals.