StyleDrop: Generazione di Immagini da Testo in Qualsiasi Stile

StyleDrop: Text-to-Image Generation in Any Style

June 1, 2023

Autori: Kihyuk Sohn, Nataniel Ruiz, Kimin Lee, Daniel Castro Chin, Irina Blok, Huiwen Chang, Jarred Barber, Lu Jiang, Glenn Entis, Yuanzhen Li, Yuan Hao, Irfan Essa, Michael Rubinstein, Dilip Krishnan

cs.AI

Abstract

I modelli pre-addestrati di grandi dimensioni per la generazione di immagini da testo sintetizzano immagini impressionanti con un uso appropriato di prompt testuali. Tuttavia, le ambiguità intrinseche del linguaggio naturale e gli effetti di distribuzione fuori dal dominio rendono difficile sintetizzare stili di immagini che sfruttino uno schema di design, una texture o un materiale specifico. In questo articolo, introduciamo StyleDrop, un metodo che consente la sintesi di immagini che seguono fedelmente uno stile specifico utilizzando un modello di generazione di immagini da testo. Il metodo proposto è estremamente versatile e cattura le sfumature e i dettagli di uno stile fornito dall'utente, come schemi di colore, ombreggiatura, modelli di design ed effetti locali e globali. Apprende in modo efficiente un nuovo stile ottimizzando pochissimi parametri addestrabili (meno dell'1% dei parametri totali del modello) e migliorando la qualità attraverso un addestramento iterativo con feedback umano o automatizzato. Ancora meglio, StyleDrop è in grado di fornire risultati impressionanti anche quando l'utente fornisce una singola immagine che specifica lo stile desiderato. Uno studio approfondito dimostra che, per il compito di adattamento stilistico dei modelli di generazione di immagini da testo, StyleDrop implementato su Muse supera in modo convincente altri metodi, tra cui DreamBooth e inversione testuale su Imagen o Stable Diffusion. Ulteriori risultati sono disponibili sul nostro sito web del progetto: https://styledrop.github.io.

English

Pre-trained large text-to-image models synthesize impressive images with an appropriate use of text prompts. However, ambiguities inherent in natural language and out-of-distribution effects make it hard to synthesize image styles, that leverage a specific design pattern, texture or material. In this paper, we introduce StyleDrop, a method that enables the synthesis of images that faithfully follow a specific style using a text-to-image model. The proposed method is extremely versatile and captures nuances and details of a user-provided style, such as color schemes, shading, design patterns, and local and global effects. It efficiently learns a new style by fine-tuning very few trainable parameters (less than 1% of total model parameters) and improving the quality via iterative training with either human or automated feedback. Better yet, StyleDrop is able to deliver impressive results even when the user supplies only a single image that specifies the desired style. An extensive study shows that, for the task of style tuning text-to-image models, StyleDrop implemented on Muse convincingly outperforms other methods, including DreamBooth and textual inversion on Imagen or Stable Diffusion. More results are available at our project website: https://styledrop.github.io