InstantStyle: Una solución sin coste adicional para la preservación de estilos en la generación de imágenes a partir de texto

InstantStyle: Free Lunch towards Style-Preserving in Text-to-Image Generation

April 3, 2024

Autores: Haofan Wang, Qixun Wang, Xu Bai, Zekui Qin, Anthony Chen

cs.AI

Resumen

Los modelos basados en difusión sin ajuste han demostrado un potencial significativo en el ámbito de la personalización y adaptación de imágenes. Sin embargo, a pesar de este notable progreso, los modelos actuales siguen enfrentándose a varios desafíos complejos en la generación de imágenes con estilo consistente. En primer lugar, el concepto de estilo es inherentemente indeterminado, abarcando una multitud de elementos como el color, el material, la atmósfera, el diseño y la estructura, entre otros. En segundo lugar, los métodos basados en inversión son propensos a la degradación del estilo, lo que a menudo resulta en la pérdida de detalles finos. Por último, los enfoques basados en adaptadores frecuentemente requieren un ajuste meticuloso de los pesos para cada imagen de referencia con el fin de lograr un equilibrio entre la intensidad del estilo y la controlabilidad del texto. En este artículo, comenzamos examinando varias observaciones convincentes pero frecuentemente pasadas por alto. Luego, presentamos InstantStyle, un marco diseñado para abordar estos problemas mediante la implementación de dos estrategias clave: 1) Un mecanismo sencillo que desacopla el estilo y el contenido de las imágenes de referencia dentro del espacio de características, basado en la suposición de que las características dentro del mismo espacio pueden sumarse o restarse entre sí. 2) La inyección de características de la imagen de referencia exclusivamente en bloques específicos de estilo, evitando así fugas de estilo y prescindiendo de la necesidad de un ajuste engorroso de pesos, que a menudo caracteriza a diseños con más parámetros. Nuestro trabajo demuestra resultados superiores en la estilización visual, logrando un equilibrio óptimo entre la intensidad del estilo y la controlabilidad de los elementos textuales. Nuestros códigos estarán disponibles en https://github.com/InstantStyle/InstantStyle.

English

Tuning-free diffusion-based models have demonstrated significant potential in the realm of image personalization and customization. However, despite this notable progress, current models continue to grapple with several complex challenges in producing style-consistent image generation. Firstly, the concept of style is inherently underdetermined, encompassing a multitude of elements such as color, material, atmosphere, design, and structure, among others. Secondly, inversion-based methods are prone to style degradation, often resulting in the loss of fine-grained details. Lastly, adapter-based approaches frequently require meticulous weight tuning for each reference image to achieve a balance between style intensity and text controllability. In this paper, we commence by examining several compelling yet frequently overlooked observations. We then proceed to introduce InstantStyle, a framework designed to address these issues through the implementation of two key strategies: 1) A straightforward mechanism that decouples style and content from reference images within the feature space, predicated on the assumption that features within the same space can be either added to or subtracted from one another. 2) The injection of reference image features exclusively into style-specific blocks, thereby preventing style leaks and eschewing the need for cumbersome weight tuning, which often characterizes more parameter-heavy designs.Our work demonstrates superior visual stylization outcomes, striking an optimal balance between the intensity of style and the controllability of textual elements. Our codes will be available at https://github.com/InstantStyle/InstantStyle.