Diffusions-Selbstdestillation zur individuellen Bildgenerierung ohne vorheriges Training

Diffusion Self-Distillation for Zero-Shot Customized Image Generation

November 27, 2024

Autoren: Shengqu Cai, Eric Chan, Yunzhi Zhang, Leonidas Guibas, Jiajun Wu, Gordon Wetzstein

cs.AI

Zusammenfassung

Text-zu-Bild-Diffusionsmodelle liefern beeindruckende Ergebnisse, sind jedoch frustrierende Werkzeuge für Künstler, die fein abgestimmte Kontrolle wünschen. Ein häufiges Anwendungsszenario besteht darin, Bilder einer bestimmten Instanz in neuen Kontexten zu erstellen, d.h. "identitätserhaltende Generierung". Diese Einstellung, zusammen mit vielen anderen Aufgaben (z.B. Neubeleuchtung), passt natürlich zu Bild+Text-bedingten generativen Modellen. Es fehlt jedoch an hochwertigen gepaarten Daten, um ein solches Modell direkt zu trainieren. Wir schlagen die Diffusion Self-Distillation vor, eine Methode zur Verwendung eines vorab trainierten Text-zu-Bild-Modells, um seinen eigenen Datensatz für textkonditionierte Bild-zu-Bild-Aufgaben zu generieren. Zunächst nutzen wir die Fähigkeit eines Text-zu-Bild-Diffusionsmodells zur kontextbezogenen Generierung, um Raster von Bildern zu erstellen und einen großen gepaarten Datensatz mit Hilfe eines Visual-Language-Modells zu kuratieren. Anschließend feinabstimmen wir das Text-zu-Bild-Modell zu einem Text+Bild-zu-Bild-Modell unter Verwendung des kuratierten gepaarten Datensatzes. Wir zeigen, dass die Diffusion Self-Distillation bestehende Zero-Shot-Methoden übertrifft und auf einer Vielzahl von Aufgaben zur Identitätserhaltungsgenerierung wettbewerbsfähig mit Techniken zur individuellen Abstimmung ist, ohne eine Optimierung zur Testzeit zu erfordern.

English

Text-to-image diffusion models produce impressive results but are frustrating tools for artists who desire fine-grained control. For example, a common use case is to create images of a specific instance in novel contexts, i.e., "identity-preserving generation". This setting, along with many other tasks (e.g., relighting), is a natural fit for image+text-conditional generative models. However, there is insufficient high-quality paired data to train such a model directly. We propose Diffusion Self-Distillation, a method for using a pre-trained text-to-image model to generate its own dataset for text-conditioned image-to-image tasks. We first leverage a text-to-image diffusion model's in-context generation ability to create grids of images and curate a large paired dataset with the help of a Visual-Language Model. We then fine-tune the text-to-image model into a text+image-to-image model using the curated paired dataset. We demonstrate that Diffusion Self-Distillation outperforms existing zero-shot methods and is competitive with per-instance tuning techniques on a wide range of identity-preservation generation tasks, without requiring test-time optimization.