MagicProp: モーション認識型外観伝播による拡散モデルベースの動画編集

MagicProp: Diffusion-based Video Editing via Motion-aware Appearance Propagation

September 2, 2023

著者: Hanshu Yan, Jun Hao Liew, Long Mai, Shanchuan Lin, Jiashi Feng

cs.AI

要旨

本論文は、動画の動きを保持しながら視覚的な外観を変更するという課題に取り組む。新たなフレームワーク「MagicProp」を提案し、動画編集プロセスを外観編集とモーション認識型外観伝播の2段階に分離する。第1段階では、MagicPropは入力動画から1フレームを選択し、画像編集技術を用いてフレームの内容やスタイルを変更する。これらの技術の柔軟性により、フレーム内の任意の領域を編集可能とする。第2段階では、MagicPropは編集済みフレームを外観リファレンスとして使用し、自己回帰的レンダリング手法を用いて残りのフレームを生成する。これを実現するため、PropDPMと呼ばれる拡散ベースの条件付き生成モデルを開発し、リファレンス外観、ターゲットモーション、および前フレームの外観を条件としてターゲットフレームを合成する。自己回帰的編集手法により、結果の動画における時間的一貫性が保証される。全体として、MagicPropは画像編集技術の柔軟性と自己回帰モデリングの優れた時間的一貫性を組み合わせ、入力動画の任意の領域におけるオブジェクトタイプや美的スタイルの柔軟な編集を可能にしつつ、フレーム間の良好な時間的一貫性を維持する。様々な動画編集シナリオにおける広範な実験により、MagicPropの有効性が実証されている。

English

This paper addresses the issue of modifying the visual appearance of videos while preserving their motion. A novel framework, named MagicProp, is proposed, which disentangles the video editing process into two stages: appearance editing and motion-aware appearance propagation. In the first stage, MagicProp selects a single frame from the input video and applies image-editing techniques to modify the content and/or style of the frame. The flexibility of these techniques enables the editing of arbitrary regions within the frame. In the second stage, MagicProp employs the edited frame as an appearance reference and generates the remaining frames using an autoregressive rendering approach. To achieve this, a diffusion-based conditional generation model, called PropDPM, is developed, which synthesizes the target frame by conditioning on the reference appearance, the target motion, and its previous appearance. The autoregressive editing approach ensures temporal consistency in the resulting videos. Overall, MagicProp combines the flexibility of image-editing techniques with the superior temporal consistency of autoregressive modeling, enabling flexible editing of object types and aesthetic styles in arbitrary regions of input videos while maintaining good temporal consistency across frames. Extensive experiments in various video editing scenarios demonstrate the effectiveness of MagicProp.