StyleDrop: Генерация изображений из текста в любом стиле

StyleDrop: Text-to-Image Generation in Any Style

June 1, 2023

Авторы: Kihyuk Sohn, Nataniel Ruiz, Kimin Lee, Daniel Castro Chin, Irina Blok, Huiwen Chang, Jarred Barber, Lu Jiang, Glenn Entis, Yuanzhen Li, Yuan Hao, Irfan Essa, Michael Rubinstein, Dilip Krishnan

cs.AI

Аннотация

Предварительно обученные крупные модели для генерации изображений по тексту создают впечатляющие изображения при правильном использовании текстовых запросов. Однако неоднозначности, присущие естественному языку, и эффекты выхода за пределы распределения данных затрудняют синтез стилей изображений, которые используют определенный дизайн, текстуру или материал. В данной статье мы представляем StyleDrop — метод, который позволяет синтезировать изображения, точно следующие определенному стилю, с использованием модели генерации изображений по тексту. Предложенный метод чрезвычайно универсален и захватывает тонкости и детали стиля, предоставленного пользователем, такие как цветовые схемы, тени, дизайнерские паттерны, а также локальные и глобальные эффекты. Он эффективно изучает новый стиль, тонко настраивая очень небольшое количество обучаемых параметров (менее 1% от общего числа параметров модели) и улучшая качество за счет итеративного обучения с использованием обратной связи от человека или автоматизированных систем. Более того, StyleDrop способен выдавать впечатляющие результаты даже в случае, когда пользователь предоставляет всего одно изображение, задающее желаемый стиль. Обширное исследование показывает, что для задачи настройки стиля в моделях генерации изображений по тексту, StyleDrop, реализованный на основе Muse, убедительно превосходит другие методы, включая DreamBooth и текстовую инверсию на Imagen или Stable Diffusion. Дополнительные результаты доступны на нашем проектом сайте: https://styledrop.github.io.

English

Pre-trained large text-to-image models synthesize impressive images with an appropriate use of text prompts. However, ambiguities inherent in natural language and out-of-distribution effects make it hard to synthesize image styles, that leverage a specific design pattern, texture or material. In this paper, we introduce StyleDrop, a method that enables the synthesis of images that faithfully follow a specific style using a text-to-image model. The proposed method is extremely versatile and captures nuances and details of a user-provided style, such as color schemes, shading, design patterns, and local and global effects. It efficiently learns a new style by fine-tuning very few trainable parameters (less than 1% of total model parameters) and improving the quality via iterative training with either human or automated feedback. Better yet, StyleDrop is able to deliver impressive results even when the user supplies only a single image that specifies the desired style. An extensive study shows that, for the task of style tuning text-to-image models, StyleDrop implemented on Muse convincingly outperforms other methods, including DreamBooth and textual inversion on Imagen or Stable Diffusion. More results are available at our project website: https://styledrop.github.io