InstantStyle-Plus: Transferencia de Estilo con Preservación de Contenido en la Generación de Imágenes a partir de Texto

InstantStyle-Plus: Style Transfer with Content-Preserving in Text-to-Image Generation

June 30, 2024

Autores: Haofan Wang, Peng Xing, Renyuan Huang, Hao Ai, Qixun Wang, Xu Bai

cs.AI

Resumen

La transferencia de estilo es un proceso creativo diseñado para generar una imagen que mantiene la esencia del original mientras adopta el estilo visual de otra. Aunque los modelos de difusión han demostrado un poder generativo impresionante en aplicaciones personalizadas basadas en sujetos o estilos, los métodos actuales más avanzados aún enfrentan dificultades para lograr un equilibrio fluido entre la preservación del contenido y la mejora del estilo. Por ejemplo, amplificar la influencia del estilo a menudo puede comprometer la integridad estructural del contenido. Para abordar estos desafíos, descomponemos la tarea de transferencia de estilo en tres elementos clave: 1) Estilo, centrado en las características estéticas de la imagen; 2) Estructura Espacial, relacionada con la disposición geométrica y la composición de los elementos visuales; y 3) Contenido Semántico, que captura el significado conceptual de la imagen. Guiados por estos principios, presentamos InstantStyle-Plus, un enfoque que prioriza la integridad del contenido original mientras integra de manera fluida el estilo objetivo. Específicamente, nuestro método logra la inyección de estilo mediante un proceso eficiente y ligero, utilizando el marco de trabajo de vanguardia InstantStyle. Para reforzar la preservación del contenido, iniciamos el proceso con un ruido latente de contenido invertido y un ControlNet de mosaico versátil plug-and-play para mantener el diseño intrínseco de la imagen original. También incorporamos un adaptador semántico global para mejorar la fidelidad del contenido semántico. Para proteger contra la dilución de la información de estilo, se emplea un extractor de estilo como discriminador para proporcionar orientación adicional sobre el estilo. Los códigos estarán disponibles en https://github.com/instantX-research/InstantStyle-Plus.

English

Style transfer is an inventive process designed to create an image that maintains the essence of the original while embracing the visual style of another. Although diffusion models have demonstrated impressive generative power in personalized subject-driven or style-driven applications, existing state-of-the-art methods still encounter difficulties in achieving a seamless balance between content preservation and style enhancement. For example, amplifying the style's influence can often undermine the structural integrity of the content. To address these challenges, we deconstruct the style transfer task into three core elements: 1) Style, focusing on the image's aesthetic characteristics; 2) Spatial Structure, concerning the geometric arrangement and composition of visual elements; and 3) Semantic Content, which captures the conceptual meaning of the image. Guided by these principles, we introduce InstantStyle-Plus, an approach that prioritizes the integrity of the original content while seamlessly integrating the target style. Specifically, our method accomplishes style injection through an efficient, lightweight process, utilizing the cutting-edge InstantStyle framework. To reinforce the content preservation, we initiate the process with an inverted content latent noise and a versatile plug-and-play tile ControlNet for preserving the original image's intrinsic layout. We also incorporate a global semantic adapter to enhance the semantic content's fidelity. To safeguard against the dilution of style information, a style extractor is employed as discriminator for providing supplementary style guidance. Codes will be available at https://github.com/instantX-research/InstantStyle-Plus.