Framer: Интерактивная интерполяция кадров

Framer: Interactive Frame Interpolation

October 24, 2024

Авторы: Wen Wang, Qiuyu Wang, Kecheng Zheng, Hao Ouyang, Zhekai Chen, Biao Gong, Hao Chen, Yujun Shen, Chunhua Shen

cs.AI

Аннотация

Мы предлагаем Framer для интерактивной интерполяции кадров, которая направлена на создание плавного перехода между двумя изображениями в соответствии с творчеством пользователя. Конкретно, помимо ввода начального и конечного кадров, наш подход поддерживает настройку процесса перехода путем настройки траектории некоторых выбранных ключевых точек. Такой дизайн имеет два явных преимущества. Во-первых, включение человеческого взаимодействия смягчает проблему, возникающую из-за множества возможностей преобразования одного изображения в другое, и в свою очередь обеспечивает более тонкий контроль над локальными движениями. Во-вторых, как самая базовая форма взаимодействия, ключевые точки помогают установить соответствие между кадрами, улучшая модель для работы с сложными случаями (например, объекты на начальном и конечном кадрах имеют разные формы и стили). Следует отметить, что наша система также предлагает режим "автопилота", где мы вводим модуль для оценки ключевых точек и автоматической коррекции траектории, чтобы упростить использование на практике. Обширные экспериментальные результаты демонстрируют привлекательную производительность Framer в различных приложениях, таких как морфинг изображений, создание видео ускоренного воспроизведения, интерполяция мультфильмов и т. д. Код, модель и интерфейс будут опубликованы для облегчения дальнейших исследований.

English

We propose Framer for interactive frame interpolation, which targets producing smoothly transitioning frames between two images as per user creativity. Concretely, besides taking the start and end frames as inputs, our approach supports customizing the transition process by tailoring the trajectory of some selected keypoints. Such a design enjoys two clear benefits. First, incorporating human interaction mitigates the issue arising from numerous possibilities of transforming one image to another, and in turn enables finer control of local motions. Second, as the most basic form of interaction, keypoints help establish the correspondence across frames, enhancing the model to handle challenging cases (e.g., objects on the start and end frames are of different shapes and styles). It is noteworthy that our system also offers an "autopilot" mode, where we introduce a module to estimate the keypoints and refine the trajectory automatically, to simplify the usage in practice. Extensive experimental results demonstrate the appealing performance of Framer on various applications, such as image morphing, time-lapse video generation, cartoon interpolation, etc. The code, the model, and the interface will be released to facilitate further research.