Generatives Inbetweening: Anpassung von Bild-zu-Video-Modellen für Zwischenbildinterpolation

Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation

August 27, 2024

Autoren: Xiaojuan Wang, Boyang Zhou, Brian Curless, Ira Kemelmacher-Shlizerman, Aleksander Holynski, Steven M. Seitz

cs.AI

Zusammenfassung

Wir präsentieren eine Methode zur Erzeugung von Videosequenzen mit kohärenter Bewegung zwischen einem Paar von Eingangs-Schlüsselbildern. Wir passen ein vortrainiertes groß angelegtes Bild-zu-Video-Diffusionsmodell an (ursprünglich trainiert, um Videos vorwärts in der Zeit von einem einzelnen Eingangsbild zu generieren) für die Schlüsselbild-Interpolation an, d.h., um ein Video zwischen zwei Eingabebildern zu erzeugen. Wir erreichen diese Anpassung durch eine leichtgewichtige Feinabstimmungstechnik, die eine Version des Modells erzeugt, die stattdessen Videos rückwärts in der Zeit von einem einzelnen Eingangsbild vorhersagt. Dieses Modell (zusammen mit dem ursprünglichen vorwärtsgerichteten Modell) wird anschließend in einem dualrichtungs Diffusionsabtastungsprozess verwendet, der die sich überschneidenden Modellschätzungen kombiniert, die jeweils von den beiden Schlüsselbildern ausgehen. Unsere Experimente zeigen, dass unsere Methode sowohl bestehende diffusionsbasierte Methoden als auch traditionelle Frame-Interpolations-Techniken übertrifft.

English

We present a method for generating video sequences with coherent motion between a pair of input key frames. We adapt a pretrained large-scale image-to-video diffusion model (originally trained to generate videos moving forward in time from a single input image) for key frame interpolation, i.e., to produce a video in between two input frames. We accomplish this adaptation through a lightweight fine-tuning technique that produces a version of the model that instead predicts videos moving backwards in time from a single input image. This model (along with the original forward-moving model) is subsequently used in a dual-directional diffusion sampling process that combines the overlapping model estimates starting from each of the two keyframes. Our experiments show that our method outperforms both existing diffusion-based methods and traditional frame interpolation techniques.