Uni3C：ビデオ生成のための精密な3D拡張カメラと人体動作制御の統合

Uni3C: Unifying Precisely 3D-Enhanced Camera and Human Motion Controls for Video Generation

April 21, 2025

著者: Chenjie Cao, Jingkai Zhou, Shikai Li, Jingyun Liang, Chaohui Yu, Fan Wang, Xiangyang Xue, Yanwei Fu

cs.AI

要旨

カメラと人間のモーション制御は、ビデオ生成において広く研究されてきましたが、既存のアプローチでは通常これらを別々に扱い、両方の側面に対する高品質なアノテーションを伴うデータの不足に悩まされてきました。これを克服するため、我々はUni3Cを提案します。これは、ビデオ生成におけるカメラと人間のモーションの両方を精密に制御するための統一された3D拡張フレームワークです。Uni3Cには2つの主要な貢献があります。まず、固定されたビデオ生成バックボーンで訓練されたプラグアンドプレイ制御モジュール、PCDControllerを提案します。これは、単眼深度から得られた非投影点群を利用して正確なカメラ制御を実現します。点群の強力な3D事前情報とビデオ基盤モデルの優れた能力を活用することで、PCDControllerは推論バックボーンが固定されているか微調整されているかに関わらず、優れた汎化性能を示します。この柔軟性により、Uni3Cの異なるモジュールを特定のドメイン（カメラ制御または人間のモーション制御）で訓練することが可能となり、共同アノテーションデータへの依存を軽減します。次に、推論フェーズにおいて、風景の点群とSMPL-Xキャラクターをシームレスに統合し、それぞれカメラと人間のモーションの制御信号を統一する共同整列3Dワールドガイダンスを提案します。広範な実験により、PCDControllerがビデオ生成の微調整バックボーンにおいてカメラモーションを駆動する際の強力なロバスト性を享受することが確認されました。Uni3Cは、カメラの制御性と人間のモーションの品質の両方において、競合手法を大幅に上回ります。さらに、挑戦的なカメラの動きと人間のアクションを特徴とする特注の検証セットを収集し、我々の手法の有効性を検証しました。

English

Camera and human motion controls have been extensively studied for video generation, but existing approaches typically address them separately, suffering from limited data with high-quality annotations for both aspects. To overcome this, we present Uni3C, a unified 3D-enhanced framework for precise control of both camera and human motion in video generation. Uni3C includes two key contributions. First, we propose a plug-and-play control module trained with a frozen video generative backbone, PCDController, which utilizes unprojected point clouds from monocular depth to achieve accurate camera control. By leveraging the strong 3D priors of point clouds and the powerful capacities of video foundational models, PCDController shows impressive generalization, performing well regardless of whether the inference backbone is frozen or fine-tuned. This flexibility enables different modules of Uni3C to be trained in specific domains, i.e., either camera control or human motion control, reducing the dependency on jointly annotated data. Second, we propose a jointly aligned 3D world guidance for the inference phase that seamlessly integrates both scenic point clouds and SMPL-X characters to unify the control signals for camera and human motion, respectively. Extensive experiments confirm that PCDController enjoys strong robustness in driving camera motion for fine-tuned backbones of video generation. Uni3C substantially outperforms competitors in both camera controllability and human motion quality. Additionally, we collect tailored validation sets featuring challenging camera movements and human actions to validate the effectiveness of our method.