InstantStyle-Plus: Trasferimento di Stile con Conservazione del Contenuto nella Generazione di Immagini da Testo

InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation

June 30, 2024

Autori: Haofan Wang, Peng Xing, Renyuan Huang, Hao Ai, Qixun Wang, Xu Bai

cs.AI

Abstract

Il trasferimento di stile è un processo creativo progettato per generare un'immagine che mantiene l'essenza dell'originale mentre adotta lo stile visivo di un'altra. Sebbene i modelli di diffusione abbiano dimostrato un impressionante potere generativo in applicazioni personalizzate guidate da soggetti o stili, i metodi all'avanguardia esistenti incontrano ancora difficoltà nel raggiungere un equilibrio armonioso tra la preservazione del contenuto e l'enhancement dello stile. Ad esempio, amplificare l'influenza dello stile può spesso compromettere l'integrità strutturale del contenuto. Per affrontare queste sfide, scomponiamo il compito di trasferimento di stile in tre elementi fondamentali: 1) Stile, focalizzato sulle caratteristiche estetiche dell'immagine; 2) Struttura Spaziale, riguardante la disposizione geometrica e la composizione degli elementi visivi; e 3) Contenuto Semantico, che cattura il significato concettuale dell'immagine. Guidati da questi principi, introduciamo InstantStyle-Plus, un approccio che priorizza l'integrità del contenuto originale integrando in modo fluido lo stile target. Nello specifico, il nostro metodo realizza l'iniezione dello stile attraverso un processo efficiente e leggero, sfruttando il framework all'avanguardia InstantStyle. Per rafforzare la preservazione del contenuto, iniziamo il processo con un rumore latente del contenuto invertito e un versatile tile ControlNet plug-and-play per mantenere il layout intrinseco dell'immagine originale. Incorporiamo inoltre un adattatore semantico globale per migliorare la fedeltà del contenuto semantico. Per proteggere dalla diluizione delle informazioni stilistiche, viene utilizzato un estrattore di stile come discriminatore per fornire una guida stilistica supplementare. I codici saranno disponibili su https://github.com/instantX-research/InstantStyle-Plus.

English

Style transfer is an inventive process designed to create an image that maintains the essence of the original while embracing the visual style of another. Although diffusion models have demonstrated impressive generative power in personalized subject-driven or style-driven applications, existing state-of-the-art methods still encounter difficulties in achieving a seamless balance between content preservation and style enhancement. For example, amplifying the style's influence can often undermine the structural integrity of the content. To address these challenges, we deconstruct the style transfer task into three core elements: 1) Style, focusing on the image's aesthetic characteristics; 2) Spatial Structure, concerning the geometric arrangement and composition of visual elements; and 3) Semantic Content, which captures the conceptual meaning of the image. Guided by these principles, we introduce InstantStyle-Plus, an approach that prioritizes the integrity of the original content while seamlessly integrating the target style. Specifically, our method accomplishes style injection through an efficient, lightweight process, utilizing the cutting-edge InstantStyle framework. To reinforce the content preservation, we initiate the process with an inverted content latent noise and a versatile plug-and-play tile ControlNet for preserving the original image's intrinsic layout. We also incorporate a global semantic adapter to enhance the semantic content's fidelity. To safeguard against the dilution of style information, a style extractor is employed as discriminator for providing supplementary style guidance. Codes will be available at https://github.com/instantX-research/InstantStyle-Plus.