DreamStyler: Рисование через инверсию стиля с использованием моделей диффузии для генерации изображений из текста

DreamStyler: Paint by Style Inversion with Text-to-Image Diffusion Models

September 13, 2023

Авторы: Namhyuk Ahn, Junsoo Lee, Chunggi Lee, Kunhee Kim, Daesik Kim, Seung-Hun Nam, Kibeom Hong

cs.AI

Аннотация

Последние достижения в области крупномасштабных моделей преобразования текста в изображения привели к значительным успехам, находящим применение в различных областях искусства. Однако выражение уникальных характеристик произведения искусства (например, мазков, цветовой палитры или композиции) с использованием только текстовых запросов может столкнуться с ограничениями, обусловленными присущими вербальному описанию ограничениями. В связи с этим мы представляем DreamStyler — новый фреймворк, разработанный для синтеза художественных изображений, который эффективно справляется как с преобразованием текста в изображение, так и с переносом стиля. DreamStyler оптимизирует многоэтапное текстовое встраивание с использованием контекстно-зависимого текстового запроса, что приводит к выдающемуся качеству изображений. Кроме того, благодаря руководству по содержанию и стилю, DreamStyler демонстрирует гибкость, позволяющую адаптироваться к различным стилевым образцам. Экспериментальные результаты подтверждают его превосходную производительность в различных сценариях, что указывает на его перспективный потенциал в создании художественных произведений.

English

Recent progresses in large-scale text-to-image models have yielded remarkable accomplishments, finding various applications in art domain. However, expressing unique characteristics of an artwork (e.g. brushwork, colortone, or composition) with text prompts alone may encounter limitations due to the inherent constraints of verbal description. To this end, we introduce DreamStyler, a novel framework designed for artistic image synthesis, proficient in both text-to-image synthesis and style transfer. DreamStyler optimizes a multi-stage textual embedding with a context-aware text prompt, resulting in prominent image quality. In addition, with content and style guidance, DreamStyler exhibits flexibility to accommodate a range of style references. Experimental results demonstrate its superior performance across multiple scenarios, suggesting its promising potential in artistic product creation.