Artista: Estilización Controlable Estéticamente Impulsada por Texto sin Entrenamiento

Artist: Aesthetically Controllable Text-Driven Stylization without Training

July 22, 2024

Autores: Ruixiang Jiang, Changwen Chen

cs.AI

Resumen

Los modelos de difusión entrelazan la generación de contenido y estilo durante el proceso de eliminación de ruido, lo que conduce a modificaciones no deseadas en el contenido cuando se aplican directamente a tareas de estilización. Los métodos existentes luchan por controlar efectivamente el modelo de difusión para cumplir con los requisitos a nivel estético para la estilización. En este documento, presentamos Artist, un enfoque sin entrenamiento que controla estéticamente la generación de contenido y estilo de un modelo de difusión preentrenado para estilización impulsada por texto. Nuestra idea clave es desentrañar la eliminación de ruido del contenido y estilo en procesos de difusión separados mientras comparten información entre ellos. Proponemos métodos de control de contenido y estilo simples pero efectivos que suprimen la generación de contenido irrelevante para el estilo, lo que resulta en resultados de estilización armoniosos. Experimentos extensos demuestran que nuestro método sobresale en alcanzar los requisitos de estilización a nivel estético, preservando detalles intrincados en la imagen de contenido y alineándose bien con la indicación de estilo. Además, mostramos la alta capacidad de control de la intensidad de estilización desde diversas perspectivas. El código será publicado, página principal del proyecto: https://DiffusionArtist.github.io

English

Diffusion models entangle content and style generation during the denoising process, leading to undesired content modification when directly applied to stylization tasks. Existing methods struggle to effectively control the diffusion model to meet the aesthetic-level requirements for stylization. In this paper, we introduce Artist, a training-free approach that aesthetically controls the content and style generation of a pretrained diffusion model for text-driven stylization. Our key insight is to disentangle the denoising of content and style into separate diffusion processes while sharing information between them. We propose simple yet effective content and style control methods that suppress style-irrelevant content generation, resulting in harmonious stylization results. Extensive experiments demonstrate that our method excels at achieving aesthetic-level stylization requirements, preserving intricate details in the content image and aligning well with the style prompt. Furthermore, we showcase the highly controllability of the stylization strength from various perspectives. Code will be released, project home page: https://DiffusionArtist.github.io