DreamStyler: Pintar por Inversión de Estilo con Modelos de Difusión de Texto a Imagen

DreamStyler: Paint by Style Inversion with Text-to-Image Diffusion Models

September 13, 2023

Autores: Namhyuk Ahn, Junsoo Lee, Chunggi Lee, Kunhee Kim, Daesik Kim, Seung-Hun Nam, Kibeom Hong

cs.AI

Resumen

Los recientes avances en modelos de gran escala de texto a imagen han logrado resultados notables, encontrando diversas aplicaciones en el ámbito del arte. Sin embargo, expresar características únicas de una obra de arte (por ejemplo, pinceladas, tonos de color o composición) únicamente mediante indicaciones textuales puede enfrentar limitaciones debido a las restricciones inherentes de la descripción verbal. Con este fin, presentamos DreamStyler, un marco novedoso diseñado para la síntesis de imágenes artísticas, competente tanto en la síntesis de texto a imagen como en la transferencia de estilo. DreamStyler optimiza una incrustación textual de múltiples etapas con una indicación contextualmente consciente, lo que resulta en una calidad de imagen destacada. Además, con guías de contenido y estilo, DreamStyler exhibe flexibilidad para adaptarse a una variedad de referencias estilísticas. Los resultados experimentales demuestran su rendimiento superior en múltiples escenarios, sugiriendo su potencial prometedor en la creación de productos artísticos.

English

Recent progresses in large-scale text-to-image models have yielded remarkable accomplishments, finding various applications in art domain. However, expressing unique characteristics of an artwork (e.g. brushwork, colortone, or composition) with text prompts alone may encounter limitations due to the inherent constraints of verbal description. To this end, we introduce DreamStyler, a novel framework designed for artistic image synthesis, proficient in both text-to-image synthesis and style transfer. DreamStyler optimizes a multi-stage textual embedding with a context-aware text prompt, resulting in prominent image quality. In addition, with content and style guidance, DreamStyler exhibits flexibility to accommodate a range of style references. Experimental results demonstrate its superior performance across multiple scenarios, suggesting its promising potential in artistic product creation.