形態を超えたモーション：抽象モーション表現からのカテゴリ横断的モーション転送のブートストラップ

要旨

ビデオモーション転送は、参照ビデオのダイナミクスを用いて対象物体をアニメーション化することを目的としています。既存の定式化は主に固定された構造的対応関係に依存しており、参照物体と対象物体の形態、関節構造、または変形機構が大幅に異なる場合には、その定義が不明確になります。我々は、固定された構造的対応関係を超えたモーション転送を目指す視点である Motion Beyond Morphology（形態を超えたモーション）を導入します。これは、異なる対象形態間でも意味を保つダイナミクスを保持することによって実現されます。これを実現するために、2段階のフレームワークを提案します。ステージIでは、補完的な多粒度の抽象モーションビューを学習し、それらを用いて、多様な形態にわたって転送可能なダイナミクスを保持するクロスカテゴリのビデオペアをブートストラップします。ステージIIでは、この監視信号を参照ビデオ条件付きの直接生成に内在化し、推論時の明示的なモーション抽出を不要にします。さらに、Same（同一）、Near（近接）、Far（遠隔）のカテゴリ間ギャップにわたって画像条件付きおよびテキスト条件付きのモーション転送を学習・評価するための OpenVMT-Dataset と OpenVMT-Bench を導入し、採択後に両方を公開する予定です。大規模な実験により、モーション忠実度と対象保持の両方において最先端の性能を達成することを示します。プロジェクトページ: https://miniz233.github.io/MotionBeyondMorphology/

English

Video motion transfer aims to animate a target object using dynamics from a reference video. Existing formulations largely rely on fixed structural correspondence, which becomes ill-defined when reference and target objects differ substantially in morphology, articulation, or deformation mechanisms. We introduce Motion Beyond Morphology, a perspective that seeks to transfer motion beyond fixed structural correspondence, by preserving dynamics that remain meaningful across different target morphologies. To realize this, we propose a two-stage framework. Stage~I learns complementary multi-granularity abstract motion views and uses them to bootstrap cross-category video pairs that preserve transferable dynamics across diverse morphologies. Stage~II internalizes this supervision into direct reference-video-conditioned generation, removing the need for explicit motion extraction at inference. We further introduce OpenVMT-Dataset and OpenVMT-Bench for training and evaluating image- and text-conditioned motion transfer across Same, Near, and Far category gaps, and plan to release both upon acceptance. Extensive experiments demonstrate state-of-the-art motion fidelity and target preservation. Project page: https://miniz233.github.io/MotionBeyondMorphology/