StyleDrop : Génération d'images à partir de texte dans n'importe quel style

StyleDrop: Text-to-Image Generation in Any Style

June 1, 2023

Auteurs: Kihyuk Sohn, Nataniel Ruiz, Kimin Lee, Daniel Castro Chin, Irina Blok, Huiwen Chang, Jarred Barber, Lu Jiang, Glenn Entis, Yuanzhen Li, Yuan Hao, Irfan Essa, Michael Rubinstein, Dilip Krishnan

cs.AI

Résumé

Les modèles pré-entraînés de grande envergure pour la génération d'images à partir de texte synthétisent des images impressionnantes grâce à une utilisation appropriée des invites textuelles. Cependant, les ambiguïtés inhérentes au langage naturel et les effets hors distribution rendent difficile la synthèse de styles d'images qui exploitent un motif de conception, une texture ou un matériau spécifique. Dans cet article, nous présentons StyleDrop, une méthode qui permet la synthèse d'images fidèles à un style spécifique en utilisant un modèle de génération d'images à partir de texte. La méthode proposée est extrêmement polyvalente et capture les nuances et détails d'un style fourni par l'utilisateur, tels que les schémas de couleurs, l'ombrage, les motifs de conception, ainsi que les effets locaux et globaux. Elle apprend efficacement un nouveau style en affinant très peu de paramètres entraînables (moins de 1 % des paramètres totaux du modèle) et améliore la qualité grâce à un entraînement itératif avec des retours humains ou automatisés. Mieux encore, StyleDrop est capable de produire des résultats impressionnants même lorsque l'utilisateur ne fournit qu'une seule image spécifiant le style souhaité. Une étude approfondie montre que, pour la tâche de réglage de style des modèles de génération d'images à partir de texte, StyleDrop implémenté sur Muse surpasse de manière convaincante d'autres méthodes, notamment DreamBooth et l'inversion textuelle sur Imagen ou Stable Diffusion. Plus de résultats sont disponibles sur notre site web de projet : https://styledrop.github.io.

English

Pre-trained large text-to-image models synthesize impressive images with an appropriate use of text prompts. However, ambiguities inherent in natural language and out-of-distribution effects make it hard to synthesize image styles, that leverage a specific design pattern, texture or material. In this paper, we introduce StyleDrop, a method that enables the synthesis of images that faithfully follow a specific style using a text-to-image model. The proposed method is extremely versatile and captures nuances and details of a user-provided style, such as color schemes, shading, design patterns, and local and global effects. It efficiently learns a new style by fine-tuning very few trainable parameters (less than 1% of total model parameters) and improving the quality via iterative training with either human or automated feedback. Better yet, StyleDrop is able to deliver impressive results even when the user supplies only a single image that specifies the desired style. An extensive study shows that, for the task of style tuning text-to-image models, StyleDrop implemented on Muse convincingly outperforms other methods, including DreamBooth and textual inversion on Imagen or Stable Diffusion. More results are available at our project website: https://styledrop.github.io