InstantStyle: Gratis oplossing voor stijlbehoud in tekst-naar-beeldgeneratie

InstantStyle: Free Lunch towards Style-Preserving in Text-to-Image Generation

April 3, 2024

Auteurs: Haofan Wang, Qixun Wang, Xu Bai, Zekui Qin, Anthony Chen

cs.AI

Samenvatting

Afstemmingsvrije, op diffusie gebaseerde modellen hebben aanzienlijk potentieel getoond op het gebied van beeldpersonalisatie en -aanpassing. Ondanks deze opmerkelijke vooruitgang, worstelen huidige modellen echter nog steeds met verschillende complexe uitdagingen bij het genereren van stijlconsistente beelden. Ten eerste is het concept van stijl inherent onderbepaald, waarbij het een veelvoud aan elementen omvat, zoals kleur, materiaal, sfeer, ontwerp en structuur, onder andere. Ten tweede zijn op inversie gebaseerde methoden gevoelig voor stijlafbraak, wat vaak resulteert in het verlies van fijnmazige details. Tot slot vereisen op adapters gebaseerde benaderingen vaak nauwgezette gewichtsafstemming voor elk referentiebeeld om een balans te bereiken tussen stijlintensiteit en tekstuele bestuurbaarheid. In dit artikel beginnen we met het onderzoeken van enkele overtuigende maar vaak over het hoofd geziene observaties. Vervolgens introduceren we InstantStyle, een raamwerk ontworpen om deze problemen aan te pakken door de implementatie van twee belangrijke strategieën: 1) Een eenvoudig mechanisme dat stijl en inhoud van referentiebeelden ontkoppelt binnen de kenmerkruimte, gebaseerd op de aanname dat kenmerken binnen dezelfde ruimte kunnen worden opgeteld of afgetrokken van elkaar. 2) De injectie van referentiebeeldkenmerken uitsluitend in stijlspecifieke blokken, waardoor stijllekken worden voorkomen en de noodzaak voor omslachtige gewichtsafstemming wordt vermeden, wat vaak kenmerkend is voor meer parameterintensieve ontwerpen. Ons werk toont superieure visuele stilisatieresultaten, waarbij een optimale balans wordt gevonden tussen de intensiteit van de stijl en de bestuurbaarheid van tekstuele elementen. Onze code zal beschikbaar zijn op https://github.com/InstantStyle/InstantStyle.

English

Tuning-free diffusion-based models have demonstrated significant potential in the realm of image personalization and customization. However, despite this notable progress, current models continue to grapple with several complex challenges in producing style-consistent image generation. Firstly, the concept of style is inherently underdetermined, encompassing a multitude of elements such as color, material, atmosphere, design, and structure, among others. Secondly, inversion-based methods are prone to style degradation, often resulting in the loss of fine-grained details. Lastly, adapter-based approaches frequently require meticulous weight tuning for each reference image to achieve a balance between style intensity and text controllability. In this paper, we commence by examining several compelling yet frequently overlooked observations. We then proceed to introduce InstantStyle, a framework designed to address these issues through the implementation of two key strategies: 1) A straightforward mechanism that decouples style and content from reference images within the feature space, predicated on the assumption that features within the same space can be either added to or subtracted from one another. 2) The injection of reference image features exclusively into style-specific blocks, thereby preventing style leaks and eschewing the need for cumbersome weight tuning, which often characterizes more parameter-heavy designs.Our work demonstrates superior visual stylization outcomes, striking an optimal balance between the intensity of style and the controllability of textual elements. Our codes will be available at https://github.com/InstantStyle/InstantStyle.