フレーマー：インタラクティブなフレーム補間

Framer: Interactive Frame Interpolation

October 24, 2024

著者: Wen Wang, Qiuyu Wang, Kecheng Zheng, Hao Ouyang, Zhekai Chen, Biao Gong, Hao Chen, Yujun Shen, Chunhua Shen

cs.AI

要旨

私たちは、ユーザーの創造性に応じて、2つの画像の間で滑らかに遷移するフレームを生成するために、インタラクティブなフレーム補間のためのFramerを提案します。具体的には、開始フレームと終了フレームを入力として受け取るだけでなく、選択したいくつかのキーポイントの軌道を調整することで、遷移プロセスをカスタマイズすることができるアプローチをサポートしています。この設計には2つの明確な利点があります。まず、人間の相互作用を取り入れることで、1つの画像を別の画像に変換するさまざまな可能性から生じる問題を緩和し、局所的な動きをより細かく制御することができます。第二に、最も基本的な相互作用として、キーポイントはフレーム間の対応関係を確立し、モデルが難しいケース（例：開始フレームと終了フレームのオブジェクトが異なる形状やスタイルを持つ場合）を処理できるようにします。実用上の利便性を向上させるために、システムは「オートパイロット」モードも提供しており、キーポイントを推定し軌道を自動的に調整するモジュールを導入することで、使用を簡素化しています。幅広い実験結果は、画像変形、タイムラプスビデオ生成、カートゥーン補間などのさまざまなアプリケーションにおけるFramerの魅力的なパフォーマンスを示しています。コード、モデル、およびインターフェースは、さらなる研究を促進するために公開されます。

English

We propose Framer for interactive frame interpolation, which targets producing smoothly transitioning frames between two images as per user creativity. Concretely, besides taking the start and end frames as inputs, our approach supports customizing the transition process by tailoring the trajectory of some selected keypoints. Such a design enjoys two clear benefits. First, incorporating human interaction mitigates the issue arising from numerous possibilities of transforming one image to another, and in turn enables finer control of local motions. Second, as the most basic form of interaction, keypoints help establish the correspondence across frames, enhancing the model to handle challenging cases (e.g., objects on the start and end frames are of different shapes and styles). It is noteworthy that our system also offers an "autopilot" mode, where we introduce a module to estimate the keypoints and refine the trajectory automatically, to simplify the usage in practice. Extensive experimental results demonstrate the appealing performance of Framer on various applications, such as image morphing, time-lapse video generation, cartoon interpolation, etc. The code, the model, and the interface will be released to facilitate further research.