MotionShop: スコアガイダンスの混合を用いたビデオ拡散モデルにおけるゼロショットモーション転送

MotionShop: Zero-Shot Motion Transfer in Video Diffusion Models with Mixture of Score Guidance

December 6, 2024

著者: Hidir Yesiltepe, Tuna Han Salih Meral, Connor Dunlop, Pinar Yanardag

cs.AI

要旨

本研究では、拡散トランスフォーマーにおける初のモーション転送手法を提案します。これは、拡散モデルにおけるモーション転送のための理論的に基づいた枠組みであるMixture of Score Guidance（MSG）を介して行われます。我々の主要な理論的貢献は、条件付きスコアを再定式化し、拡散モデルにおけるモーションスコアとコンテンツスコアを分解することにあります。MSGによって、モーション転送をポテンシャルエネルギーの混合として定式化することで、シーン構成を自然に保持し、転送されたモーションパターンの整合性を維持しながら創造的なシーン変換を可能にします。この新しいサンプリングは、追加のトレーニングや微調整なしに、事前にトレーニングされたビデオ拡散モデル上で直接動作します。MSGは、単一オブジェクト、複数オブジェクト、オブジェクト間のモーション転送、複雑なカメラモーション転送を含む多様なシナリオの成功した処理を実証するために、幅広い実験を通じて検証されています。さらに、単一/複数オブジェクトの転送や複雑なカメラモーションをカバーする、200のソースビデオと1000の転送されたモーションから成る初のモーション転送データセットであるMotionBenchを紹介しています。

English

In this work, we propose the first motion transfer approach in diffusion transformer through Mixture of Score Guidance (MSG), a theoretically-grounded framework for motion transfer in diffusion models. Our key theoretical contribution lies in reformulating conditional score to decompose motion score and content score in diffusion models. By formulating motion transfer as a mixture of potential energies, MSG naturally preserves scene composition and enables creative scene transformations while maintaining the integrity of transferred motion patterns. This novel sampling operates directly on pre-trained video diffusion models without additional training or fine-tuning. Through extensive experiments, MSG demonstrates successful handling of diverse scenarios including single object, multiple objects, and cross-object motion transfer as well as complex camera motion transfer. Additionally, we introduce MotionBench, the first motion transfer dataset consisting of 200 source videos and 1000 transferred motions, covering single/multi-object transfers, and complex camera motions.