StyleDrop: Text-zu-Bild-Generierung in jedem Stil

StyleDrop: Text-to-Image Generation in Any Style

June 1, 2023

Autoren: Kihyuk Sohn, Nataniel Ruiz, Kimin Lee, Daniel Castro Chin, Irina Blok, Huiwen Chang, Jarred Barber, Lu Jiang, Glenn Entis, Yuanzhen Li, Yuan Hao, Irfan Essa, Michael Rubinstein, Dilip Krishnan

cs.AI

Zusammenfassung

Vortrainierte große Text-zu-Bild-Modelle erzeugen beeindruckende Bilder durch den geeigneten Einsatz von Textprompts. Allerdings machen die inhärenten Mehrdeutigkeiten der natürlichen Sprache und Effekte außerhalb der Trainingsverteilung es schwierig, Bildstile zu synthetisieren, die ein spezifisches Designmuster, eine Textur oder ein Material nutzen. In diesem Artikel stellen wir StyleDrop vor, eine Methode, die die Synthese von Bildern ermöglicht, die einem bestimmten Stil treu folgen, basierend auf einem Text-zu-Bild-Modell. Die vorgeschlagene Methode ist äußerst vielseitig und erfasst Nuancen und Details eines vom Benutzer bereitgestellten Stils, wie Farbschemata, Schattierungen, Designmuster sowie lokale und globale Effekte. Sie lernt effizient einen neuen Stil, indem sie sehr wenige trainierbare Parameter (weniger als 1 % der gesamten Modellparameter) feinabstimmt und die Qualität durch iteratives Training mit menschlichem oder automatisiertem Feedback verbessert. Noch besser: StyleDrop liefert beeindruckende Ergebnisse, selbst wenn der Benutzer nur ein einziges Bild angibt, das den gewünschten Stil definiert. Eine umfangreiche Studie zeigt, dass StyleDrop, implementiert auf Muse, bei der Aufgabe der Stilanpassung von Text-zu-Bild-Modellen andere Methoden, einschließlich DreamBooth und Textual Inversion auf Imagen oder Stable Diffusion, überzeugend übertrifft. Weitere Ergebnisse sind auf unserer Projektwebsite verfügbar: https://styledrop.github.io.

English

Pre-trained large text-to-image models synthesize impressive images with an appropriate use of text prompts. However, ambiguities inherent in natural language and out-of-distribution effects make it hard to synthesize image styles, that leverage a specific design pattern, texture or material. In this paper, we introduce StyleDrop, a method that enables the synthesis of images that faithfully follow a specific style using a text-to-image model. The proposed method is extremely versatile and captures nuances and details of a user-provided style, such as color schemes, shading, design patterns, and local and global effects. It efficiently learns a new style by fine-tuning very few trainable parameters (less than 1% of total model parameters) and improving the quality via iterative training with either human or automated feedback. Better yet, StyleDrop is able to deliver impressive results even when the user supplies only a single image that specifies the desired style. An extensive study shows that, for the task of style tuning text-to-image models, StyleDrop implemented on Muse convincingly outperforms other methods, including DreamBooth and textual inversion on Imagen or Stable Diffusion. More results are available at our project website: https://styledrop.github.io