Geschachtelte Diffusionsprozesse für die Bildgenerierung in Echtzeit

Nested Diffusion Processes for Anytime Image Generation

May 30, 2023

Autoren: Noam Elata, Bahjat Kawar, Tomer Michaeli, Michael Elad

cs.AI

Zusammenfassung

Diffusionsmodelle sind derzeit der Stand der Technik in der Bildgenerierung und erzeugen hochwertige Bilder, indem sie den Generierungsprozess in viele fein abgestufte Entrauschungsschritte unterteilen. Trotz ihrer guten Leistung sind Diffusionsmodelle rechenintensiv und erfordern viele Auswertungen von neuronalen Funktionen (NFEs). In dieser Arbeit schlagen wir ein jederzeit anwendbares, diffusionsbasiertes Verfahren vor, das brauchbare Bilder erzeugen kann, wenn es zu beliebigen Zeitpunkten vor Abschluss gestoppt wird. Unter Verwendung bestehender vortrainierter Diffusionsmodelle zeigen wir, dass das Generierungsschema als zwei verschachtelte Diffusionsprozesse neu zusammengesetzt werden kann, was eine schnelle iterative Verfeinerung eines generierten Bildes ermöglicht. Wir nutzen diesen Ansatz der Verschachtelten Diffusion, um Einblicke in den Generierungsprozess zu gewinnen und eine flexible Planung basierend auf den momentanen Präferenzen des Benutzers zu ermöglichen. In Experimenten zur ImageNet- und Stable-Diffusion-basierten Text-zu-Bild-Generierung zeigen wir sowohl qualitativ als auch quantitativ, dass die Zwischengenerierungsqualität unserer Methode die des ursprünglichen Diffusionsmodells deutlich übertrifft, während das endgültige Ergebnis der langsamen Generierung vergleichbar bleibt.

English

Diffusion models are the current state-of-the-art in image generation, synthesizing high-quality images by breaking down the generation process into many fine-grained denoising steps. Despite their good performance, diffusion models are computationally expensive, requiring many neural function evaluations (NFEs). In this work, we propose an anytime diffusion-based method that can generate viable images when stopped at arbitrary times before completion. Using existing pretrained diffusion models, we show that the generation scheme can be recomposed as two nested diffusion processes, enabling fast iterative refinement of a generated image. We use this Nested Diffusion approach to peek into the generation process and enable flexible scheduling based on the instantaneous preference of the user. In experiments on ImageNet and Stable Diffusion-based text-to-image generation, we show, both qualitatively and quantitatively, that our method's intermediate generation quality greatly exceeds that of the original diffusion model, while the final slow generation result remains comparable.