InstantStyle-Plus: Stiltransfer mit Erhaltung des Inhalts bei der Text-zu-Bild-Generierung

InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation

June 30, 2024

Autoren: Haofan Wang, Peng Xing, Renyuan Huang, Hao Ai, Qixun Wang, Xu Bai

cs.AI

Zusammenfassung

Stiltransfer ist ein innovativer Prozess, der darauf abzielt, ein Bild zu erstellen, das die Essenz des Originals bewahrt und gleichzeitig den visuellen Stil eines anderen übernimmt. Obwohl Diffusionsmodelle beeindruckende generative Fähigkeiten in personalisierten, subjektgesteuerten oder stilgesteuerten Anwendungen gezeigt haben, stoßen bestehende State-of-the-Art-Methoden immer noch auf Schwierigkeiten, eine nahtlose Balance zwischen der Erhaltung des Inhalts und der Verbesserung des Stils zu erreichen. Beispielsweise kann die Verstärkung des Stileinflusses oft die strukturelle Integrität des Inhalts untergraben. Um diesen Herausforderungen zu begegnen, zerlegen wir die Aufgabe des Stiltransfers in drei Kernkomponenten: 1) Stil, der sich auf die ästhetischen Eigenschaften des Bildes konzentriert; 2) Räumliche Struktur, die die geometrische Anordnung und Komposition der visuellen Elemente betrifft; und 3) Semantischer Inhalt, der die konzeptuelle Bedeutung des Bildes erfasst. Basierend auf diesen Prinzipien stellen wir InstantStyle-Plus vor, einen Ansatz, der die Integrität des Originalinhalts priorisiert, während er den Zielstil nahtlos integriert. Speziell erreicht unsere Methode die Stileinspritzung durch einen effizienten, leichtgewichtigen Prozess, unter Verwendung des modernen InstantStyle-Frameworks. Um die Inhaltsbewahrung zu verstärken, starten wir den Prozess mit einem invertierten latenten Rauschen des Inhalts und einem vielseitigen Plug-and-Play-Kachel-ControlNet zur Bewahrung des ursprünglichen Layouts des Bildes. Wir integrieren auch einen globalen semantischen Adapter, um die Treue des semantischen Inhalts zu verbessern. Um einer Verdünnung der Stilinformation entgegenzuwirken, wird ein Stil-Extraktor als Diskriminator eingesetzt, um zusätzliche stilistische Anleitung zu bieten. Der Code wird verfügbar sein unter https://github.com/instantX-research/InstantStyle-Plus.

English

Style transfer is an inventive process designed to create an image that maintains the essence of the original while embracing the visual style of another. Although diffusion models have demonstrated impressive generative power in personalized subject-driven or style-driven applications, existing state-of-the-art methods still encounter difficulties in achieving a seamless balance between content preservation and style enhancement. For example, amplifying the style's influence can often undermine the structural integrity of the content. To address these challenges, we deconstruct the style transfer task into three core elements: 1) Style, focusing on the image's aesthetic characteristics; 2) Spatial Structure, concerning the geometric arrangement and composition of visual elements; and 3) Semantic Content, which captures the conceptual meaning of the image. Guided by these principles, we introduce InstantStyle-Plus, an approach that prioritizes the integrity of the original content while seamlessly integrating the target style. Specifically, our method accomplishes style injection through an efficient, lightweight process, utilizing the cutting-edge InstantStyle framework. To reinforce the content preservation, we initiate the process with an inverted content latent noise and a versatile plug-and-play tile ControlNet for preserving the original image's intrinsic layout. We also incorporate a global semantic adapter to enhance the semantic content's fidelity. To safeguard against the dilution of style information, a style extractor is employed as discriminator for providing supplementary style guidance. Codes will be available at https://github.com/instantX-research/InstantStyle-Plus.