Framer: Interpolación de Marcos Interactiva

Framer: Interactive Frame Interpolation

October 24, 2024

Autores: Wen Wang, Qiuyu Wang, Kecheng Zheng, Hao Ouyang, Zhekai Chen, Biao Gong, Hao Chen, Yujun Shen, Chunhua Shen

cs.AI

Resumen

Proponemos Framer para la interpolación de fotogramas interactiva, que tiene como objetivo producir fotogramas con transiciones suaves entre dos imágenes según la creatividad del usuario. Concretamente, además de tomar los fotogramas inicial y final como entradas, nuestro enfoque admite personalizar el proceso de transición adaptando la trayectoria de algunos puntos clave seleccionados. Este diseño ofrece dos claros beneficios. En primer lugar, la incorporación de la interacción humana mitiga el problema que surge de las numerosas posibilidades de transformar una imagen en otra, lo que a su vez permite un control más preciso de los movimientos locales. En segundo lugar, como forma más básica de interacción, los puntos clave ayudan a establecer la correspondencia entre los fotogramas, mejorando el modelo para manejar casos desafiantes (por ejemplo, objetos en los fotogramas inicial y final tienen formas y estilos diferentes). Es importante destacar que nuestro sistema también ofrece un modo "autopilot", donde introducimos un módulo para estimar los puntos clave y refinar la trayectoria automáticamente, para simplificar el uso en la práctica. Los extensos resultados experimentales demuestran el rendimiento atractivo de Framer en diversas aplicaciones, como morfología de imágenes, generación de videos en lapso de tiempo, interpolación de dibujos animados, etc. El código, el modelo y la interfaz se publicarán para facilitar investigaciones futuras.

English

We propose Framer for interactive frame interpolation, which targets producing smoothly transitioning frames between two images as per user creativity. Concretely, besides taking the start and end frames as inputs, our approach supports customizing the transition process by tailoring the trajectory of some selected keypoints. Such a design enjoys two clear benefits. First, incorporating human interaction mitigates the issue arising from numerous possibilities of transforming one image to another, and in turn enables finer control of local motions. Second, as the most basic form of interaction, keypoints help establish the correspondence across frames, enhancing the model to handle challenging cases (e.g., objects on the start and end frames are of different shapes and styles). It is noteworthy that our system also offers an "autopilot" mode, where we introduce a module to estimate the keypoints and refine the trajectory automatically, to simplify the usage in practice. Extensive experimental results demonstrate the appealing performance of Framer on various applications, such as image morphing, time-lapse video generation, cartoon interpolation, etc. The code, the model, and the interface will be released to facilitate further research.