Artiste : Stylisation pilotée par texte avec contrôle esthétique sans entraînement

Artist: Aesthetically Controllable Text-Driven Stylization without Training

July 22, 2024

Auteurs: Ruixiang Jiang, Changwen Chen

cs.AI

Résumé

Les modèles de diffusion entremêlent la génération de contenu et de style pendant le processus de débruitage, entraînant des modifications indésirables du contenu lorsqu'ils sont directement appliqués à des tâches de stylisation. Les méthodes existantes peinent à contrôler efficacement le modèle de diffusion pour répondre aux exigences esthétiques de la stylisation. Dans cet article, nous présentons Artist, une approche sans apprentissage qui contrôle esthétiquement la génération de contenu et de style d'un modèle de diffusion préentraîné pour la stylisation pilotée par texte. Notre idée clé est de séparer le débruitage du contenu et du style en processus de diffusion distincts tout en partageant des informations entre eux. Nous proposons des méthodes de contrôle du contenu et du style simples mais efficaces, qui suppriment la génération de contenu non pertinent pour le style, aboutissant à des résultats de stylisation harmonieux. Des expériences approfondies démontrent que notre méthode excelle à atteindre les exigences de stylisation au niveau esthétique, en préservant les détails complexes de l'image de contenu et en s'alignant parfaitement avec l'invite de style. De plus, nous montrons la grande contrôlabilité de l'intensité de la stylisation sous divers angles. Le code sera publié, page du projet : https://DiffusionArtist.github.io

English

Diffusion models entangle content and style generation during the denoising process, leading to undesired content modification when directly applied to stylization tasks. Existing methods struggle to effectively control the diffusion model to meet the aesthetic-level requirements for stylization. In this paper, we introduce Artist, a training-free approach that aesthetically controls the content and style generation of a pretrained diffusion model for text-driven stylization. Our key insight is to disentangle the denoising of content and style into separate diffusion processes while sharing information between them. We propose simple yet effective content and style control methods that suppress style-irrelevant content generation, resulting in harmonious stylization results. Extensive experiments demonstrate that our method excels at achieving aesthetic-level stylization requirements, preserving intricate details in the content image and aligning well with the style prompt. Furthermore, we showcase the highly controllability of the stylization strength from various perspectives. Code will be released, project home page: https://DiffusionArtist.github.io