Künstler: Ästhetisch steuerbare textgesteuerte Stilisierung ohne Training

Artist: Aesthetically Controllable Text-Driven Stylization without Training

July 22, 2024

Autoren: Ruixiang Jiang, Changwen Chen

cs.AI

Zusammenfassung

Diffusionsmodelle verstricken Inhalts- und Stilgenerierung während des Rauschunterdrückungsprozesses, was zu unerwünschten Inhaltsänderungen führt, wenn sie direkt auf Stilisierungsaufgaben angewendet werden. Bestehende Methoden haben Schwierigkeiten, das Diffusionsmodell effektiv zu steuern, um die ästhetischen Anforderungen auf Stilisierungsebene zu erfüllen. In diesem Artikel stellen wir Artist vor, einen trainingsfreien Ansatz, der die ästhetische Steuerung der Inhalts- und Stilgenerierung eines vorab trainierten Diffusionsmodells für textgesteuerte Stilisierung ermöglicht. Unser Schlüsselerkenntnis besteht darin, die Rauschunterdrückung von Inhalt und Stil in separate Diffusionsprozesse zu entflechten, während Informationen zwischen ihnen geteilt werden. Wir schlagen einfache, aber effektive Methoden zur Inhalts- und Stilsteuerung vor, die die Generierung stilirrelevanter Inhalte unterdrücken und zu harmonischen Stilisierungsergebnissen führen. Umfangreiche Experimente zeigen, dass unsere Methode herausragende ästhetische Stilisierungsanforderungen erfüllt, feine Details im Inhaltsbild bewahrt und gut mit der Stilvorgabe übereinstimmt. Darüber hinaus präsentieren wir die hohe Steuerbarkeit der Stärke der Stilisierung aus verschiedenen Perspektiven. Der Code wird veröffentlicht, Projekt-Homepage: https://DiffusionArtist.github.io

English

Diffusion models entangle content and style generation during the denoising process, leading to undesired content modification when directly applied to stylization tasks. Existing methods struggle to effectively control the diffusion model to meet the aesthetic-level requirements for stylization. In this paper, we introduce Artist, a training-free approach that aesthetically controls the content and style generation of a pretrained diffusion model for text-driven stylization. Our key insight is to disentangle the denoising of content and style into separate diffusion processes while sharing information between them. We propose simple yet effective content and style control methods that suppress style-irrelevant content generation, resulting in harmonious stylization results. Extensive experiments demonstrate that our method excels at achieving aesthetic-level stylization requirements, preserving intricate details in the content image and aligning well with the style prompt. Furthermore, we showcase the highly controllability of the stylization strength from various perspectives. Code will be released, project home page: https://DiffusionArtist.github.io