Diffusie Zelf-Destillatie voor Zero-Shot Aangepaste Beeldgeneratie

Diffusion Self-Distillation for Zero-Shot Customized Image Generation

November 27, 2024

Auteurs: Shengqu Cai, Eric Chan, Yunzhi Zhang, Leonidas Guibas, Jiajun Wu, Gordon Wetzstein

cs.AI

Samenvatting

Text-naar-afbeelding diffusiemodellen leveren indrukwekkende resultaten op maar zijn frustrerende tools voor kunstenaars die fijnmazige controle wensen. Een veelvoorkomend gebruiksscenario is bijvoorbeeld het creëren van afbeeldingen van een specifiek exemplaar in nieuwe contexten, oftewel "identiteit-bewarende generatie". Deze instelling, samen met vele andere taken (bijv. herbelichting), sluit natuurlijk aan bij afbeelding+tekst-geconditioneerde generatieve modellen. Er is echter onvoldoende hoogwaardige gekoppelde data om zo'n model rechtstreeks te trainen. Wij stellen Diffusie Zelf-Distillatie voor, een methode om een vooraf getraind text-naar-afbeelding model te gebruiken om zijn eigen dataset te genereren voor tekst-geconditioneerde afbeelding-naar-afbeelding taken. We benutten eerst de in-context generatievaardigheid van een text-naar-afbeelding diffusiemodel om rasterafbeeldingen te creëren en een grote gekoppelde dataset te selecteren met behulp van een Visueel-Taalmodel. Vervolgens verfijnen we het text-naar-afbeelding model tot een tekst+afbeelding-naar-afbeelding model met behulp van de samengestelde gekoppelde dataset. We tonen aan dat Diffusie Zelf-Distillatie beter presteert dan bestaande zero-shot methoden en concurrerend is met per-exemplaar afstemmingstechnieken op een breed scala van identiteitsbehoudende generatietaken, zonder dat er optimalisatie op testtijd nodig is.

English

Text-to-image diffusion models produce impressive results but are frustrating tools for artists who desire fine-grained control. For example, a common use case is to create images of a specific instance in novel contexts, i.e., "identity-preserving generation". This setting, along with many other tasks (e.g., relighting), is a natural fit for image+text-conditional generative models. However, there is insufficient high-quality paired data to train such a model directly. We propose Diffusion Self-Distillation, a method for using a pre-trained text-to-image model to generate its own dataset for text-conditioned image-to-image tasks. We first leverage a text-to-image diffusion model's in-context generation ability to create grids of images and curate a large paired dataset with the help of a Visual-Language Model. We then fine-tune the text-to-image model into a text+image-to-image model using the curated paired dataset. We demonstrate that Diffusion Self-Distillation outperforms existing zero-shot methods and is competitive with per-instance tuning techniques on a wide range of identity-preservation generation tasks, without requiring test-time optimization.