Interpolation zwischen Bildern mit Diffusionsmodellen

Interpolating between Images with Diffusion Models

July 24, 2023

Autoren: Clinton J. Wang, Polina Golland

cs.AI

Zusammenfassung

Eine wenig erforschte Grenze der Bildgenerierung und -bearbeitung ist die Aufgabe der Interpolation zwischen zwei Eingabebildern, eine Funktion, die in allen derzeit eingesetzten Bildgenerierungspipelines fehlt. Wir argumentieren, dass eine solche Funktion die kreativen Anwendungen solcher Modelle erweitern kann, und schlagen eine Methode für die Zero-Shot-Interpolation mit latenten Diffusionsmodellen vor. Wir wenden die Interpolation im latenten Raum auf einer Abfolge abnehmender Rauschpegel an und führen dann eine Entrauschung durch, die auf interpolierten Text-Embeddings basiert, die aus Textual Inversion und (optional) Subjektposen abgeleitet werden. Für eine größere Konsistenz oder zur Spezifikation zusätzlicher Kriterien können wir mehrere Kandidaten generieren und CLIP verwenden, um das qualitativ hochwertigste Bild auszuwählen. Wir erhalten überzeugende Interpolationen über diverse Subjektposen, Bildstile und Bildinhalte hinweg und zeigen, dass standardmäßige quantitative Metriken wie FID unzureichend sind, um die Qualität einer Interpolation zu messen. Code und Daten sind verfügbar unter https://clintonjwang.github.io/interpolation.

English

One little-explored frontier of image generation and editing is the task of interpolating between two input images, a feature missing from all currently deployed image generation pipelines. We argue that such a feature can expand the creative applications of such models, and propose a method for zero-shot interpolation using latent diffusion models. We apply interpolation in the latent space at a sequence of decreasing noise levels, then perform denoising conditioned on interpolated text embeddings derived from textual inversion and (optionally) subject poses. For greater consistency, or to specify additional criteria, we can generate several candidates and use CLIP to select the highest quality image. We obtain convincing interpolations across diverse subject poses, image styles, and image content, and show that standard quantitative metrics such as FID are insufficient to measure the quality of an interpolation. Code and data are available at https://clintonjwang.github.io/interpolation.