Cocktail: Комбинирование мультимодальных управляющих элементов для генерации изображений на основе текста

Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image Generation

June 1, 2023

Авторы: Minghui Hu, Jianbin Zheng, Daqing Liu, Chuanxia Zheng, Chaoyue Wang, Dacheng Tao, Tat-Jen Cham

cs.AI

Аннотация

Текст-условные диффузионные модели способны генерировать изображения высокой четкости с разнообразным содержанием. Однако лингвистические представления часто демонстрируют неоднозначные описания целевых образов, что требует включения дополнительных управляющих сигналов для повышения эффективности текстово-управляемых диффузионных моделей. В данной работе мы предлагаем Cocktail — конвейер для смешивания различных модальностей в одно встраивание, объединенное с обобщенным ControlNet (gControlNet), управляемой нормализацией (ControlNorm) и методом пространственного направленного сэмплирования, чтобы реализовать многомодальное и пространственно-уточненное управление для текст-условных диффузионных моделей. В частности, мы представляем гиперсеть gControlNet, предназначенную для согласования и внедрения управляющих сигналов из различных модальностей в предварительно обученную диффузионную модель. gControlNet способен принимать гибкие сигналы модальностей, включая одновременное получение любой комбинации сигналов или дополнительное слияние нескольких сигналов модальностей. Затем управляющие сигналы объединяются и внедряются в основную модель в соответствии с предложенной нами ControlNorm. Кроме того, наш усовершенствованный метод пространственного направленного сэмплирования эффективно интегрирует управляющий сигнал в заданную область, тем самым предотвращая появление нежелательных объектов в сгенерированном изображении. Мы демонстрируем результаты нашего метода в управлении различными модальностями, подтверждая высокое качество синтеза и соответствие множеству внешних сигналов.

English

Text-conditional diffusion models are able to generate high-fidelity images with diverse contents. However, linguistic representations frequently exhibit ambiguous descriptions of the envisioned objective imagery, requiring the incorporation of additional control signals to bolster the efficacy of text-guided diffusion models. In this work, we propose Cocktail, a pipeline to mix various modalities into one embedding, amalgamated with a generalized ControlNet (gControlNet), a controllable normalisation (ControlNorm), and a spatial guidance sampling method, to actualize multi-modal and spatially-refined control for text-conditional diffusion models. Specifically, we introduce a hyper-network gControlNet, dedicated to the alignment and infusion of the control signals from disparate modalities into the pre-trained diffusion model. gControlNet is capable of accepting flexible modality signals, encompassing the simultaneous reception of any combination of modality signals, or the supplementary fusion of multiple modality signals. The control signals are then fused and injected into the backbone model according to our proposed ControlNorm. Furthermore, our advanced spatial guidance sampling methodology proficiently incorporates the control signal into the designated region, thereby circumventing the manifestation of undesired objects within the generated image. We demonstrate the results of our method in controlling various modalities, proving high-quality synthesis and fidelity to multiple external signals.