InstantStyle-Plus: Stijloverdracht met Behoud van Inhoud in Tekst-naar-Beeld Generatie

InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation

June 30, 2024

Auteurs: Haofan Wang, Peng Xing, Renyuan Huang, Hao Ai, Qixun Wang, Xu Bai

cs.AI

Samenvatting

Stijloverdracht is een creatief proces dat is ontworpen om een afbeelding te creëren die de essentie van het origineel behoudt, terwijl het de visuele stijl van een andere omarmt. Hoewel diffusiemodellen indrukwekkende generatieve kracht hebben getoond in gepersonaliseerde, onderwerp- of stijlgedreven toepassingen, hebben bestaande state-of-the-art methoden nog steeds moeite om een naadloze balans te bereiken tussen inhoudsbehoud en stijlverbetering. Het versterken van de invloed van de stijl kan bijvoorbeeld vaak de structurele integriteit van de inhoud ondermijnen. Om deze uitdagingen aan te pakken, ontleden we de stijloverdrachttaak in drie kernelementen: 1) Stijl, gericht op de esthetische kenmerken van de afbeelding; 2) Ruimtelijke Structuur, betreffende de geometrische rangschikking en compositie van visuele elementen; en 3) Semantische Inhoud, die het conceptuele betekenis van de afbeelding vastlegt. Geleid door deze principes introduceren we InstantStyle-Plus, een benadering die de integriteit van de originele inhoud prioriteert terwijl de doelstijl naadloos wordt geïntegreerd. Specifiek bereikt onze methode stijlinjectie via een efficiënt, lichtgewicht proces, gebruikmakend van het geavanceerde InstantStyle-framework. Om het inhoudsbehoud te versterken, starten we het proces met een omgekeerde inhoudslatente ruis en een veelzijdige plug-and-play tile ControlNet om de intrinsieke lay-out van de originele afbeelding te behouden. We integreren ook een globale semantische adapter om de trouw van de semantische inhoud te verbeteren. Om te voorkomen dat stijlinformatie wordt verwaterd, wordt een stijlextractor gebruikt als discriminator om aanvullende stijlbegeleiding te bieden. Codes zullen beschikbaar zijn op https://github.com/instantX-research/InstantStyle-Plus.

English

Style transfer is an inventive process designed to create an image that maintains the essence of the original while embracing the visual style of another. Although diffusion models have demonstrated impressive generative power in personalized subject-driven or style-driven applications, existing state-of-the-art methods still encounter difficulties in achieving a seamless balance between content preservation and style enhancement. For example, amplifying the style's influence can often undermine the structural integrity of the content. To address these challenges, we deconstruct the style transfer task into three core elements: 1) Style, focusing on the image's aesthetic characteristics; 2) Spatial Structure, concerning the geometric arrangement and composition of visual elements; and 3) Semantic Content, which captures the conceptual meaning of the image. Guided by these principles, we introduce InstantStyle-Plus, an approach that prioritizes the integrity of the original content while seamlessly integrating the target style. Specifically, our method accomplishes style injection through an efficient, lightweight process, utilizing the cutting-edge InstantStyle framework. To reinforce the content preservation, we initiate the process with an inverted content latent noise and a versatile plug-and-play tile ControlNet for preserving the original image's intrinsic layout. We also incorporate a global semantic adapter to enhance the semantic content's fidelity. To safeguard against the dilution of style information, a style extractor is employed as discriminator for providing supplementary style guidance. Codes will be available at https://github.com/instantX-research/InstantStyle-Plus.