InstantStyle-Plus: Перенос стиля с сохранением контента в генерации текста в изображение

InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation

June 30, 2024

Авторы: Haofan Wang, Peng Xing, Renyuan Huang, Hao Ai, Qixun Wang, Xu Bai

cs.AI

Аннотация

Перенос стиля - это инновационный процесс, разработанный для создания изображения, которое сохраняет суть оригинала, но принимает визуальный стиль другого. Хотя модели диффузии продемонстрировали впечатляющую генеративную мощь в персонализированных приложениях, ориентированных на субъекта или стиль, существующие передовые методы все еще сталкиваются с трудностями в достижении плавного баланса между сохранением контента и улучшением стиля. Например, увеличение влияния стиля часто может подорвать структурную целостность контента. Для решения этих проблем мы деконструируем задачу переноса стиля на три основных элемента: 1) Стиль, сосредотачиваясь на эстетических характеристиках изображения; 2) Пространственная структура, касающаяся геометрического расположения и композиции визуальных элементов; и 3) Семантическое содержание, которое улавливает концептуальное значение изображения. Руководствуясь этими принципами, мы представляем InstantStyle-Plus, подход, который придает приоритет целостности оригинального контента, одновременно плавно интегрируя целевой стиль. В частности, наш метод достигает внедрения стиля через эффективный, легкий процесс, используя передовую структуру InstantStyle. Для усиления сохранения контента мы инициируем процесс с инвертированным содержанием скрытого шума и универсальной плаг-энд-плей плиткой ControlNet для сохранения внутреннего макета оригинального изображения. Мы также включаем глобальный семантический адаптер для улучшения достоверности семантического содержания. Для защиты от разбавления информации о стиле используется извлекатель стиля в качестве дискриминатора для предоставления дополнительного стилевого руководства. Коды будут доступны на https://github.com/instantX-research/InstantStyle-Plus.

English

Style transfer is an inventive process designed to create an image that maintains the essence of the original while embracing the visual style of another. Although diffusion models have demonstrated impressive generative power in personalized subject-driven or style-driven applications, existing state-of-the-art methods still encounter difficulties in achieving a seamless balance between content preservation and style enhancement. For example, amplifying the style's influence can often undermine the structural integrity of the content. To address these challenges, we deconstruct the style transfer task into three core elements: 1) Style, focusing on the image's aesthetic characteristics; 2) Spatial Structure, concerning the geometric arrangement and composition of visual elements; and 3) Semantic Content, which captures the conceptual meaning of the image. Guided by these principles, we introduce InstantStyle-Plus, an approach that prioritizes the integrity of the original content while seamlessly integrating the target style. Specifically, our method accomplishes style injection through an efficient, lightweight process, utilizing the cutting-edge InstantStyle framework. To reinforce the content preservation, we initiate the process with an inverted content latent noise and a versatile plug-and-play tile ControlNet for preserving the original image's intrinsic layout. We also incorporate a global semantic adapter to enhance the semantic content's fidelity. To safeguard against the dilution of style information, a style extractor is employed as discriminator for providing supplementary style guidance. Codes will be available at https://github.com/instantX-research/InstantStyle-Plus.