Interpolation de trames clés : Adaptation des modèles d'image à vidéo pour l'interpolation des trames clés

Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation

August 27, 2024

Auteurs: Xiaojuan Wang, Boyang Zhou, Brian Curless, Ira Kemelmacher-Shlizerman, Aleksander Holynski, Steven M. Seitz

cs.AI

Résumé

Nous présentons une méthode pour générer des séquences vidéo avec un mouvement cohérent entre une paire de trames clés d'entrée. Nous adaptons un modèle de diffusion d'image vers vidéo à grande échelle pré-entraîné (initialement formé pour générer des vidéos se déplaçant vers l'avant dans le temps à partir d'une seule image d'entrée) pour l'interpolation de trames clés, c'est-à-dire, pour produire une vidéo entre deux trames d'entrée. Nous réalisons cette adaptation grâce à une technique de fine-tuning légère qui produit une version du modèle qui prédit plutôt des vidéos se déplaçant en arrière dans le temps à partir d'une seule image d'entrée. Ce modèle (ainsi que le modèle d'origine se déplaçant vers l'avant) est ensuite utilisé dans un processus d'échantillonnage de diffusion bidirectionnelle qui combine les estimations de modèle superposées à partir de chacune des deux trames clés. Nos expériences montrent que notre méthode surpasse à la fois les méthodes basées sur la diffusion existantes et les techniques traditionnelles d'interpolation d'images.

English

We present a method for generating video sequences with coherent motion between a pair of input key frames. We adapt a pretrained large-scale image-to-video diffusion model (originally trained to generate videos moving forward in time from a single input image) for key frame interpolation, i.e., to produce a video in between two input frames. We accomplish this adaptation through a lightweight fine-tuning technique that produces a version of the model that instead predicts videos moving backwards in time from a single input image. This model (along with the original forward-moving model) is subsequently used in a dual-directional diffusion sampling process that combines the overlapping model estimates starting from each of the two keyframes. Our experiments show that our method outperforms both existing diffusion-based methods and traditional frame interpolation techniques.