Interpolação Generativa: Adaptando Modelos de Imagem-para-Vídeo para Interpolação de Quadros-Chave

Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation

August 27, 2024

Autores: Xiaojuan Wang, Boyang Zhou, Brian Curless, Ira Kemelmacher-Shlizerman, Aleksander Holynski, Steven M. Seitz

cs.AI

Resumo

Apresentamos um método para gerar sequências de vídeo com movimento coerente entre um par de quadros-chave de entrada. Adaptamos um modelo de difusão de imagem para vídeo em larga escala pré-treinado (originalmente treinado para gerar vídeos avançando no tempo a partir de uma única imagem de entrada) para interpolação de quadros-chave, ou seja, para produzir um vídeo entre dois quadros de entrada. Realizamos essa adaptação por meio de uma técnica de ajuste fino leve que produz uma versão do modelo que, em vez disso, prevê vídeos retrocedendo no tempo a partir de uma única imagem de entrada. Esse modelo (juntamente com o modelo original de avanço) é posteriormente utilizado em um processo de amostragem de difusão bidirecional que combina as estimativas de modelo sobrepostas a partir de cada um dos dois quadros-chave. Nossos experimentos mostram que nosso método supera tanto os métodos existentes baseados em difusão quanto as técnicas tradicionais de interpolação de quadros.

English

We present a method for generating video sequences with coherent motion between a pair of input key frames. We adapt a pretrained large-scale image-to-video diffusion model (originally trained to generate videos moving forward in time from a single input image) for key frame interpolation, i.e., to produce a video in between two input frames. We accomplish this adaptation through a lightweight fine-tuning technique that produces a version of the model that instead predicts videos moving backwards in time from a single input image. This model (along with the original forward-moving model) is subsequently used in a dual-directional diffusion sampling process that combines the overlapping model estimates starting from each of the two keyframes. Our experiments show that our method outperforms both existing diffusion-based methods and traditional frame interpolation techniques.