AnimaX: 3次元における無生物のアニメーション化を実現するジョイントビデオ・ポーズ拡散モデル
AnimaX: Animating the Inanimate in 3D with Joint Video-Pose Diffusion Models
June 24, 2025
著者: Zehuan Huang, Haoran Feng, Yangtian Sun, Yuanchen Guo, Yanpei Cao, Lu Sheng
cs.AI
要旨
本論文では、AnimaXを紹介する。これは、ビデオ拡散モデルのモーションプライアとスケルトンベースアニメーションの制御可能な構造を橋渡しするフィードフォワード型3Dアニメーションフレームワークである。従来のモーション合成手法は、固定された骨格トポロジーに制限されるか、高次元の変形空間でのコストのかかる最適化を必要としていた。これに対し、AnimaXは、ビデオベースのモーション知識を3D領域に効果的に転移し、任意のスケルトンを持つ多様な関節メッシュをサポートする。本手法では、3Dモーションを多視点・多フレームの2Dポーズマップとして表現し、テンプレートレンダリングとテキストモーションプロンプトに基づくビデオ-ポーズ拡散を可能にする。ビデオとポーズシーケンス間の時空間整合性を確保するために、共有位置エンコーディングとモダリティ認識埋め込みを導入し、ビデオプライアをモーション生成タスクに効果的に転移する。得られた多視点ポーズシーケンスは、3D関節位置に三角測量され、逆運動学を介してメッシュアニメーションに変換される。新たにキュレーションされた160,000のリグ付きシーケンスのデータセットで学習されたAnimaXは、VBenchにおいて一般化、モーション忠実度、効率性において最先端の結果を達成し、カテゴリーに依存しない3Dアニメーションのためのスケーラブルなソリューションを提供する。プロジェクトページ: https://anima-x.github.io/{https://anima-x.github.io/}。
English
We present AnimaX, a feed-forward 3D animation framework that bridges the
motion priors of video diffusion models with the controllable structure of
skeleton-based animation. Traditional motion synthesis methods are either
restricted to fixed skeletal topologies or require costly optimization in
high-dimensional deformation spaces. In contrast, AnimaX effectively transfers
video-based motion knowledge to the 3D domain, supporting diverse articulated
meshes with arbitrary skeletons. Our method represents 3D motion as multi-view,
multi-frame 2D pose maps, and enables joint video-pose diffusion conditioned on
template renderings and a textual motion prompt. We introduce shared positional
encodings and modality-aware embeddings to ensure spatial-temporal alignment
between video and pose sequences, effectively transferring video priors to
motion generation task. The resulting multi-view pose sequences are
triangulated into 3D joint positions and converted into mesh animation via
inverse kinematics. Trained on a newly curated dataset of 160,000 rigged
sequences, AnimaX achieves state-of-the-art results on VBench in
generalization, motion fidelity, and efficiency, offering a scalable solution
for category-agnostic 3D animation. Project page:
https://anima-x.github.io/{https://anima-x.github.io/}.