Framer: Interpolação de Quadros Interativa

Framer: Interactive Frame Interpolation

October 24, 2024

Autores: Wen Wang, Qiuyu Wang, Kecheng Zheng, Hao Ouyang, Zhekai Chen, Biao Gong, Hao Chen, Yujun Shen, Chunhua Shen

cs.AI

Resumo

Propomos o Framer para interpolação de quadros interativos, que tem como objetivo produzir transições suaves entre dois quadros de imagens de acordo com a criatividade do usuário. Concretamente, além de receber os quadros iniciais e finais como entradas, nossa abordagem suporta a personalização do processo de transição ao adaptar a trajetória de alguns keypoints selecionados. Esse design apresenta duas claras vantagens. Primeiramente, a incorporação da interação humana mitiga o problema decorrente das inúmeras possibilidades de transformar uma imagem em outra, permitindo um controle mais preciso dos movimentos locais. Em segundo lugar, como a forma mais básica de interação, os keypoints ajudam a estabelecer a correspondência entre os quadros, aprimorando o modelo para lidar com casos desafiadores (por exemplo, objetos nos quadros iniciais e finais possuem formas e estilos diferentes). É importante destacar que nosso sistema também oferece um modo "autopiloto", no qual introduzimos um módulo para estimar os keypoints e refinar a trajetória automaticamente, a fim de simplificar o uso na prática. Resultados experimentais extensivos demonstram o desempenho atrativo do Framer em diversas aplicações, como morphing de imagens, geração de vídeos em time-lapse, interpolação de desenhos animados, etc. O código, o modelo e a interface serão disponibilizados para facilitar pesquisas futuras.

English

We propose Framer for interactive frame interpolation, which targets producing smoothly transitioning frames between two images as per user creativity. Concretely, besides taking the start and end frames as inputs, our approach supports customizing the transition process by tailoring the trajectory of some selected keypoints. Such a design enjoys two clear benefits. First, incorporating human interaction mitigates the issue arising from numerous possibilities of transforming one image to another, and in turn enables finer control of local motions. Second, as the most basic form of interaction, keypoints help establish the correspondence across frames, enhancing the model to handle challenging cases (e.g., objects on the start and end frames are of different shapes and styles). It is noteworthy that our system also offers an "autopilot" mode, where we introduce a module to estimate the keypoints and refine the trajectory automatically, to simplify the usage in practice. Extensive experimental results demonstrate the appealing performance of Framer on various applications, such as image morphing, time-lapse video generation, cartoon interpolation, etc. The code, the model, and the interface will be released to facilitate further research.