Cocktail: Combinazione di controlli multi-modali per la generazione di immagini condizionate da testo

Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image Generation

June 1, 2023

Autori: Minghui Hu, Jianbin Zheng, Daqing Liu, Chuanxia Zheng, Chaoyue Wang, Dacheng Tao, Tat-Jen Cham

cs.AI

Abstract

I modelli di diffusione condizionati dal testo sono in grado di generare immagini ad alta fedeltà con contenuti diversificati. Tuttavia, le rappresentazioni linguistiche spesso presentano descrizioni ambigue dell'immagine obiettivo immaginata, richiedendo l'incorporazione di segnali di controllo aggiuntivi per rafforzare l'efficacia dei modelli di diffusione guidati dal testo. In questo lavoro, proponiamo Cocktail, una pipeline per miscelare varie modalità in un unico embedding, combinata con un ControlNet generalizzato (gControlNet), una normalizzazione controllabile (ControlNorm) e un metodo di campionamento con guida spaziale, per realizzare un controllo multi-modale e raffinato spazialmente per i modelli di diffusione condizionati dal testo. Nello specifico, introduciamo un iper-rete gControlNet, dedicato all'allineamento e all'infusione dei segnali di controllo provenienti da modalità disparate nel modello di diffusione pre-addestrato. gControlNet è in grado di accettare segnali di modalità flessibili, comprendendo la ricezione simultanea di qualsiasi combinazione di segnali di modalità, o la fusione supplementare di più segnali di modalità. I segnali di controllo vengono quindi fusi e iniettati nel modello principale secondo la nostra proposta ControlNorm. Inoltre, la nostra metodologia avanzata di campionamento con guida spaziale incorpora in modo proficuo il segnale di controllo nella regione designata, evitando così la manifestazione di oggetti indesiderati all'interno dell'immagine generata. Dimostriamo i risultati del nostro metodo nel controllo di varie modalità, dimostrando una sintesi di alta qualità e fedeltà a più segnali esterni.

English

Text-conditional diffusion models are able to generate high-fidelity images with diverse contents. However, linguistic representations frequently exhibit ambiguous descriptions of the envisioned objective imagery, requiring the incorporation of additional control signals to bolster the efficacy of text-guided diffusion models. In this work, we propose Cocktail, a pipeline to mix various modalities into one embedding, amalgamated with a generalized ControlNet (gControlNet), a controllable normalisation (ControlNorm), and a spatial guidance sampling method, to actualize multi-modal and spatially-refined control for text-conditional diffusion models. Specifically, we introduce a hyper-network gControlNet, dedicated to the alignment and infusion of the control signals from disparate modalities into the pre-trained diffusion model. gControlNet is capable of accepting flexible modality signals, encompassing the simultaneous reception of any combination of modality signals, or the supplementary fusion of multiple modality signals. The control signals are then fused and injected into the backbone model according to our proposed ControlNorm. Furthermore, our advanced spatial guidance sampling methodology proficiently incorporates the control signal into the designated region, thereby circumventing the manifestation of undesired objects within the generated image. We demonstrate the results of our method in controlling various modalities, proving high-quality synthesis and fidelity to multiple external signals.