Interpolación generativa: Adaptación de modelos de imagen a video para la interpolación de fotogramas clave.

Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation

August 27, 2024

Autores: Xiaojuan Wang, Boyang Zhou, Brian Curless, Ira Kemelmacher-Shlizerman, Aleksander Holynski, Steven M. Seitz

cs.AI

Resumen

Presentamos un método para generar secuencias de video con movimiento coherente entre un par de fotogramas clave de entrada. Adaptamos un modelo de difusión de imagen a video a gran escala preentrenado (originalmente entrenado para generar videos avanzando en el tiempo a partir de una sola imagen de entrada) para la interpolación de fotogramas clave, es decir, para producir un video entre dos fotogramas de entrada. Logramos esta adaptación a través de una técnica de ajuste fino ligera que produce una versión del modelo que en lugar de predecir videos avanzando en el tiempo a partir de una sola imagen de entrada, predice videos retrocediendo en el tiempo. Este modelo (junto con el modelo original de avance) se utiliza posteriormente en un proceso de muestreo de difusión bidireccional que combina las estimaciones del modelo superpuestas a partir de cada uno de los dos fotogramas clave. Nuestros experimentos muestran que nuestro método supera tanto a los métodos basados en difusión existentes como a las técnicas tradicionales de interpolación de fotogramas.

English

We present a method for generating video sequences with coherent motion between a pair of input key frames. We adapt a pretrained large-scale image-to-video diffusion model (originally trained to generate videos moving forward in time from a single input image) for key frame interpolation, i.e., to produce a video in between two input frames. We accomplish this adaptation through a lightweight fine-tuning technique that produces a version of the model that instead predicts videos moving backwards in time from a single input image. This model (along with the original forward-moving model) is subsequently used in a dual-directional diffusion sampling process that combines the overlapping model estimates starting from each of the two keyframes. Our experiments show that our method outperforms both existing diffusion-based methods and traditional frame interpolation techniques.