DreamStyler: Pintura por Inversão de Estilo com Modelos de Difusão de Texto para Imagem

DreamStyler: Paint by Style Inversion with Text-to-Image Diffusion Models

September 13, 2023

Autores: Namhyuk Ahn, Junsoo Lee, Chunggi Lee, Kunhee Kim, Daesik Kim, Seung-Hun Nam, Kibeom Hong

cs.AI

Resumo

Os recentes avanços em modelos de grande escala para geração de imagens a partir de texto têm alcançado conquistas notáveis, encontrando diversas aplicações no domínio da arte. No entanto, expressar características únicas de uma obra de arte (por exemplo, pinceladas, tonalidade de cores ou composição) apenas com prompts de texto pode enfrentar limitações devido às restrições inerentes da descrição verbal. Para isso, introduzimos o DreamStyler, uma nova estrutura projetada para síntese de imagens artísticas, proficiente tanto na síntese de texto para imagem quanto na transferência de estilo. O DreamStyler otimiza uma incorporação textual em múltiplos estágios com um prompt de texto contextualmente consciente, resultando em uma qualidade de imagem destacada. Além disso, com orientação de conteúdo e estilo, o DreamStyler exibe flexibilidade para acomodar uma variedade de referências de estilo. Resultados experimentais demonstram seu desempenho superior em múltiplos cenários, sugerindo seu potencial promissor na criação de produtos artísticos.

English

Recent progresses in large-scale text-to-image models have yielded remarkable accomplishments, finding various applications in art domain. However, expressing unique characteristics of an artwork (e.g. brushwork, colortone, or composition) with text prompts alone may encounter limitations due to the inherent constraints of verbal description. To this end, we introduce DreamStyler, a novel framework designed for artistic image synthesis, proficient in both text-to-image synthesis and style transfer. DreamStyler optimizes a multi-stage textual embedding with a context-aware text prompt, resulting in prominent image quality. In addition, with content and style guidance, DreamStyler exhibits flexibility to accommodate a range of style references. Experimental results demonstrate its superior performance across multiple scenarios, suggesting its promising potential in artistic product creation.