Автор: Эстетически управляемая стилизация текстом без обучения

Artist: Aesthetically Controllable Text-Driven Stylization without Training

July 22, 2024

Авторы: Ruixiang Jiang, Changwen Chen

cs.AI

Аннотация

Модели диффузии запутывают генерацию контента и стиля в процессе удаления шума, что приводит к нежелательным изменениям контента при прямом применении к задачам стилизации. Существующие методы испытывают затруднения в эффективном управлении моделью диффузии для соответствия требованиям на уровне эстетики при стилизации. В данной статье мы представляем Artist, подход к обучению без участия, который эстетически управляет генерацией контента и стиля предварительно обученной модели диффузии для стилизации под воздействием текста. Наш ключевой инсайт заключается в разделении удаления шума контента и стиля на отдельные процессы диффузии с обменом информацией между ними. Мы предлагаем простые, но эффективные методы управления контентом и стилем, которые подавляют генерацию контента, не имеющего отношения к стилю, что приводит к гармоничным результатам стилизации. Обширные эксперименты демонстрируют, что наш метод превосходит в достижении требований на уровне эстетики при стилизации, сохраняя сложные детали в изображении контента и хорошо сочетаясь с образцом стиля. Кроме того, мы демонстрируем высокую управляемость силы стилизации с различных точек зрения. Код будет опубликован, домашняя страница проекта: https://DiffusionArtist.github.io

English

Diffusion models entangle content and style generation during the denoising process, leading to undesired content modification when directly applied to stylization tasks. Existing methods struggle to effectively control the diffusion model to meet the aesthetic-level requirements for stylization. In this paper, we introduce Artist, a training-free approach that aesthetically controls the content and style generation of a pretrained diffusion model for text-driven stylization. Our key insight is to disentangle the denoising of content and style into separate diffusion processes while sharing information between them. We propose simple yet effective content and style control methods that suppress style-irrelevant content generation, resulting in harmonious stylization results. Extensive experiments demonstrate that our method excels at achieving aesthetic-level stylization requirements, preserving intricate details in the content image and aligning well with the style prompt. Furthermore, we showcase the highly controllability of the stylization strength from various perspectives. Code will be released, project home page: https://DiffusionArtist.github.io