CharacterShot: 制御可能で一貫性のある4Dキャラクターアニメーション

CharacterShot: Controllable and Consistent 4D Character Animation

August 10, 2025

著者: Junyao Gao, Jiaxing Li, Wenran Liu, Yanhong Zeng, Fei Shen, Kai Chen, Yanan Sun, Cairong Zhao

cs.AI

要旨

本論文では、CharacterShotを提案する。これは、制御可能で一貫性のある4Dキャラクターアニメーションフレームワークであり、個々のデザイナーが単一の参照キャラクター画像と2Dポーズシーケンスから動的な3Dキャラクター（すなわち4Dキャラクターアニメーション）を作成することを可能にする。まず、最先端のDiTベースの画像から動画へのモデルに基づいて、強力な2Dキャラクターアニメーションモデルを事前学習する。これにより、任意の2Dポーズシーケンスを制御信号として使用できる。次に、デュアルアテンションモジュールとカメラ事前情報を導入して、アニメーションモデルを2Dから3Dにリフトし、時空間的および空間視点的一貫性を持つマルチビュービデオを生成する。最後に、これらのマルチビュービデオに対して、新規の近傍制約付き4Dガウススプラッティング最適化を適用し、連続的で安定した4Dキャラクター表現を得る。さらに、キャラクター中心の性能を向上させるため、13,115種類の多様な外観と動きを持つキャラクターを複数の視点からレンダリングした大規模データセットCharacter4Dを構築した。新たに構築したベンチマークCharacterBenchでの広範な実験により、本手法が現在の最先端手法を凌駕することを示す。コード、モデル、およびデータセットはhttps://github.com/Jeoyal/CharacterShotで公開予定である。

English

In this paper, we propose CharacterShot, a controllable and consistent 4D character animation framework that enables any individual designer to create dynamic 3D characters (i.e., 4D character animation) from a single reference character image and a 2D pose sequence. We begin by pretraining a powerful 2D character animation model based on a cutting-edge DiT-based image-to-video model, which allows for any 2D pose sequnce as controllable signal. We then lift the animation model from 2D to 3D through introducing dual-attention module together with camera prior to generate multi-view videos with spatial-temporal and spatial-view consistency. Finally, we employ a novel neighbor-constrained 4D gaussian splatting optimization on these multi-view videos, resulting in continuous and stable 4D character representations. Moreover, to improve character-centric performance, we construct a large-scale dataset Character4D, containing 13,115 unique characters with diverse appearances and motions, rendered from multiple viewpoints. Extensive experiments on our newly constructed benchmark, CharacterBench, demonstrate that our approach outperforms current state-of-the-art methods. Code, models, and datasets will be publicly available at https://github.com/Jeoyal/CharacterShot.