InstantStyle : Une solution simple pour préserver le style dans la génération texte-image

InstantStyle: Free Lunch towards Style-Preserving in Text-to-Image Generation

April 3, 2024

Auteurs: Haofan Wang, Qixun Wang, Xu Bai, Zekui Qin, Anthony Chen

cs.AI

Résumé

Les modèles basés sur la diffusion sans réglage ont démontré un potentiel significatif dans le domaine de la personnalisation et de la customisation d'images. Cependant, malgré ces progrès notables, les modèles actuels continuent de faire face à plusieurs défis complexes dans la génération d'images cohérentes en termes de style. Premièrement, le concept de style est intrinsèquement sous-déterminé, englobant une multitude d'éléments tels que la couleur, le matériau, l'atmosphère, le design et la structure, entre autres. Deuxièmement, les méthodes basées sur l'inversion sont sujettes à une dégradation du style, entraînant souvent la perte de détails fins. Enfin, les approches basées sur des adaptateurs nécessitent fréquemment un réglage minutieux des poids pour chaque image de référence afin d'atteindre un équilibre entre l'intensité du style et la contrôlabilité textuelle. Dans cet article, nous commençons par examiner plusieurs observations convaincantes mais souvent négligées. Nous introduisons ensuite InstantStyle, un cadre conçu pour résoudre ces problèmes grâce à la mise en œuvre de deux stratégies clés : 1) Un mécanisme simple qui découple le style et le contenu des images de référence dans l'espace des caractéristiques, en partant du principe que les caractéristiques dans le même espace peuvent être ajoutées ou soustraites les unes des autres. 2) L'injection des caractéristiques de l'image de référence uniquement dans des blocs spécifiques au style, empêchant ainsi les fuites de style et évitant le besoin d'un réglage fastidieux des poids, caractéristique des conceptions plus lourdes en paramètres. Notre travail démontre des résultats de stylisation visuelle supérieurs, trouvant un équilibre optimal entre l'intensité du style et la contrôlabilité des éléments textuels. Nos codes seront disponibles à l'adresse https://github.com/InstantStyle/InstantStyle.

English

Tuning-free diffusion-based models have demonstrated significant potential in the realm of image personalization and customization. However, despite this notable progress, current models continue to grapple with several complex challenges in producing style-consistent image generation. Firstly, the concept of style is inherently underdetermined, encompassing a multitude of elements such as color, material, atmosphere, design, and structure, among others. Secondly, inversion-based methods are prone to style degradation, often resulting in the loss of fine-grained details. Lastly, adapter-based approaches frequently require meticulous weight tuning for each reference image to achieve a balance between style intensity and text controllability. In this paper, we commence by examining several compelling yet frequently overlooked observations. We then proceed to introduce InstantStyle, a framework designed to address these issues through the implementation of two key strategies: 1) A straightforward mechanism that decouples style and content from reference images within the feature space, predicated on the assumption that features within the same space can be either added to or subtracted from one another. 2) The injection of reference image features exclusively into style-specific blocks, thereby preventing style leaks and eschewing the need for cumbersome weight tuning, which often characterizes more parameter-heavy designs.Our work demonstrates superior visual stylization outcomes, striking an optimal balance between the intensity of style and the controllability of textual elements. Our codes will be available at https://github.com/InstantStyle/InstantStyle.