Artista: Stilizzazione Guidata da Testo con Controllo Estetico Senza Addestramento

Artist: Aesthetically Controllable Text-Driven Stylization without Training

July 22, 2024

Autori: Ruixiang Jiang, Changwen Chen

cs.AI

Abstract

I modelli di diffusione intrecciano la generazione di contenuto e stile durante il processo di denoising, portando a modifiche indesiderate del contenuto quando applicati direttamente a compiti di stilizzazione. I metodi esistenti faticano a controllare efficacemente il modello di diffusione per soddisfare i requisiti estetici della stilizzazione. In questo articolo, introduciamo Artist, un approccio senza necessità di addestramento che controlla esteticamente la generazione di contenuto e stile di un modello di diffusione pre-addestrato per la stilizzazione guidata da testo. La nostra intuizione chiave è quella di separare il denoising del contenuto e dello stile in processi di diffusione distinti, pur condividendo informazioni tra di essi. Proponiamo metodi semplici ma efficaci per il controllo del contenuto e dello stile che sopprimono la generazione di contenuti irrilevanti per lo stile, ottenendo risultati di stilizzazione armoniosi. Esperimenti estensivi dimostrano che il nostro metodo eccelle nel raggiungere i requisiti di stilizzazione a livello estetico, preservando i dettagli intricati nell'immagine del contenuto e allineandosi bene con il prompt di stile. Inoltre, mostriamo l'elevata controllabilità della forza di stilizzazione da varie prospettive. Il codice verrà rilasciato, pagina del progetto: https://DiffusionArtist.github.io

English

Diffusion models entangle content and style generation during the denoising process, leading to undesired content modification when directly applied to stylization tasks. Existing methods struggle to effectively control the diffusion model to meet the aesthetic-level requirements for stylization. In this paper, we introduce Artist, a training-free approach that aesthetically controls the content and style generation of a pretrained diffusion model for text-driven stylization. Our key insight is to disentangle the denoising of content and style into separate diffusion processes while sharing information between them. We propose simple yet effective content and style control methods that suppress style-irrelevant content generation, resulting in harmonious stylization results. Extensive experiments demonstrate that our method excels at achieving aesthetic-level stylization requirements, preserving intricate details in the content image and aligning well with the style prompt. Furthermore, we showcase the highly controllability of the stylization strength from various perspectives. Code will be released, project home page: https://DiffusionArtist.github.io