Генерация промежуточных кадров: Адаптация моделей изображения-видео для интерполяции ключевых кадров

Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation

August 27, 2024

Авторы: Xiaojuan Wang, Boyang Zhou, Brian Curless, Ira Kemelmacher-Shlizerman, Aleksander Holynski, Steven M. Seitz

cs.AI

Аннотация

Мы представляем метод генерации видеопоследовательностей с согласованным движением между парой входных ключевых кадров. Мы адаптируем предварительно обученную модель диффузии изображения в видео большого масштаба (изначально обученную для генерации видео, двигающегося вперед во времени от одного входного изображения) для интерполяции ключевых кадров, т.е. для создания видео между двумя входными кадрами. Мы осуществляем эту адаптацию с помощью техники легкой донастройки, которая создает версию модели, предсказывающую видео, двигающееся назад во времени от одного входного изображения. Эта модель (наряду с оригинальной моделью движения вперед) впоследствии используется в процессе двунаправленной диффузионной выборки, который объединяет перекрывающиеся оценки модели, начиная с каждого из двух ключевых кадров. Наши эксперименты показывают, что наш метод превосходит как существующие методы на основе диффузии, так и традиционные техники интерполяции кадров.

English

We present a method for generating video sequences with coherent motion between a pair of input key frames. We adapt a pretrained large-scale image-to-video diffusion model (originally trained to generate videos moving forward in time from a single input image) for key frame interpolation, i.e., to produce a video in between two input frames. We accomplish this adaptation through a lightweight fine-tuning technique that produces a version of the model that instead predicts videos moving backwards in time from a single input image. This model (along with the original forward-moving model) is subsequently used in a dual-directional diffusion sampling process that combines the overlapping model estimates starting from each of the two keyframes. Our experiments show that our method outperforms both existing diffusion-based methods and traditional frame interpolation techniques.