Artist: Esthetisch Bestuurbare Tekstgestuurde Stilering zonder Training

Artist: Aesthetically Controllable Text-Driven Stylization without Training

July 22, 2024

Auteurs: Ruixiang Jiang, Changwen Chen

cs.AI

Samenvatting

Diffusiemodellen verstrengelen inhoud- en stijlgeneratie tijdens het denoisingsproces, wat leidt tot ongewenste inhoudsmodificatie wanneer ze direct worden toegepast op stilisatietaken. Bestaande methoden hebben moeite om het diffusiemodel effectief te controleren om aan de esthetische eisen voor stilisatie te voldoen. In dit artikel introduceren we Artist, een trainingsvrije aanpak die esthetisch de inhoud- en stijlgeneratie van een voorgetraind diffusiemodel beheerst voor tekstgestuurde stilisatie. Onze belangrijkste inzicht is om het denoisen van inhoud en stijl te ontwarren in afzonderlijke diffusieprocessen, terwijl informatie tussen hen wordt gedeeld. We stellen eenvoudige maar effectieve methoden voor inhouds- en stijlcontrole voor die de generatie van stijlonafhankelijke inhoud onderdrukken, wat resulteert in harmonieuze stilisatieresultaten. Uitgebreide experimenten tonen aan dat onze methode uitblinkt in het behalen van esthetische stilisatie-eisen, waarbij gedetailleerde details in de inhoudsafbeelding behouden blijven en goed aansluiten bij de stijlprompt. Bovendien demonstreren we de hoge beheersbaarheid van de stilisatiesterkte vanuit verschillende perspectieven. Code zal worden vrijgegeven, projecthomepage: https://DiffusionArtist.github.io

English

Diffusion models entangle content and style generation during the denoising process, leading to undesired content modification when directly applied to stylization tasks. Existing methods struggle to effectively control the diffusion model to meet the aesthetic-level requirements for stylization. In this paper, we introduce Artist, a training-free approach that aesthetically controls the content and style generation of a pretrained diffusion model for text-driven stylization. Our key insight is to disentangle the denoising of content and style into separate diffusion processes while sharing information between them. We propose simple yet effective content and style control methods that suppress style-irrelevant content generation, resulting in harmonious stylization results. Extensive experiments demonstrate that our method excels at achieving aesthetic-level stylization requirements, preserving intricate details in the content image and aligning well with the style prompt. Furthermore, we showcase the highly controllability of the stylization strength from various perspectives. Code will be released, project home page: https://DiffusionArtist.github.io