생성적 인터폴레이션: 키프레임 보간을 위한 이미지에서 비디오 모델 적응하기

Generative Inbetweening: Adapting Image-to-Video Models for Keyframe Interpolation

August 27, 2024

저자: Xiaojuan Wang, Boyang Zhou, Brian Curless, Ira Kemelmacher-Shlizerman, Aleksander Holynski, Steven M. Seitz

cs.AI

초록

입력 키프레임 쌍 사이의 일관된 움직임을 가진 비디오 시퀀스를 생성하는 방법을 제시합니다. 우리는 사전 훈련된 대규모 이미지-비디오 확산 모델(원래 하나의 입력 이미지로부터 시간이 지남에 따라 움직이는 비디오를 생성하는 데 사용되었던)을 적응하여 키프레임 보간, 즉 두 입력 프레임 사이에 비디오를 생성합니다. 우리는 이 적응을 달성하기 위해 가벼운 파인튜닝 기술을 통해 모델의 버전을 생성합니다. 이 모델은 대신 하나의 입력 이미지로부터 시간이 지남에 따라 역방향으로 움직이는 비디오를 예측합니다. 이 모델(원래의 순방향 모델과 함께)은 이후 두 키프레임 각각에서 시작하는 겹치는 모델 추정을 결합하는 이중 방향 확산 샘플링 과정에서 사용됩니다. 우리의 실험 결과는 우리의 방법이 기존의 확산 기반 방법과 전통적인 프레임 보간 기술을 모두 능가한다는 것을 보여줍니다.

English

We present a method for generating video sequences with coherent motion between a pair of input key frames. We adapt a pretrained large-scale image-to-video diffusion model (originally trained to generate videos moving forward in time from a single input image) for key frame interpolation, i.e., to produce a video in between two input frames. We accomplish this adaptation through a lightweight fine-tuning technique that produces a version of the model that instead predicts videos moving backwards in time from a single input image. This model (along with the original forward-moving model) is subsequently used in a dual-directional diffusion sampling process that combines the overlapping model estimates starting from each of the two keyframes. Our experiments show that our method outperforms both existing diffusion-based methods and traditional frame interpolation techniques.