Uni3C : Unification des contrôles précis de caméra améliorée en 3D et de mouvement humain pour la génération de vidéos

Uni3C: Unifying Precisely 3D-Enhanced Camera and Human Motion Controls for Video Generation

April 21, 2025

Auteurs: Chenjie Cao, Jingkai Zhou, Shikai Li, Jingyun Liang, Chaohui Yu, Fan Wang, Xiangyang Xue, Yanwei Fu

cs.AI

Résumé

Le contrôle des mouvements de caméra et humains a été largement étudié pour la génération de vidéos, mais les approches existantes les traitent généralement séparément, souffrant de données limitées avec des annotations de haute qualité pour ces deux aspects. Pour surmonter cela, nous présentons Uni3C, un cadre unifié amélioré en 3D pour un contrôle précis à la fois des mouvements de caméra et humains dans la génération de vidéos. Uni3C comprend deux contributions clés. Premièrement, nous proposons un module de contrôle plug-and-play entraîné avec un modèle de génération vidéo figé, PCDController, qui utilise des nuages de points non projetés issus de la profondeur monoculaire pour obtenir un contrôle précis de la caméra. En exploitant les fortes connaissances a priori 3D des nuages de points et les capacités puissantes des modèles de base vidéo, PCDController montre une généralisation impressionnante, performant bien que le modèle d'inférence soit figé ou affiné. Cette flexibilité permet aux différents modules d'Uni3C d'être entraînés dans des domaines spécifiques, c'est-à-dire soit le contrôle de la caméra, soit le contrôle des mouvements humains, réduisant ainsi la dépendance aux données annotées conjointement. Deuxièmement, nous proposons un guidage 3D aligné conjointement pour la phase d'inférence qui intègre de manière transparente à la fois les nuages de points scéniques et les personnages SMPL-X pour unifier les signaux de contrôle respectivement pour la caméra et les mouvements humains. Des expériences approfondies confirment que PCDController bénéficie d'une forte robustesse pour piloter les mouvements de caméra dans les modèles de génération vidéo affinés. Uni3C surpasse largement les concurrents à la fois en termes de contrôlabilité de la caméra et de qualité des mouvements humains. De plus, nous avons collecté des ensembles de validation spécifiques mettant en avant des mouvements de caméra et des actions humaines complexes pour valider l'efficacité de notre méthode.

English

Camera and human motion controls have been extensively studied for video generation, but existing approaches typically address them separately, suffering from limited data with high-quality annotations for both aspects. To overcome this, we present Uni3C, a unified 3D-enhanced framework for precise control of both camera and human motion in video generation. Uni3C includes two key contributions. First, we propose a plug-and-play control module trained with a frozen video generative backbone, PCDController, which utilizes unprojected point clouds from monocular depth to achieve accurate camera control. By leveraging the strong 3D priors of point clouds and the powerful capacities of video foundational models, PCDController shows impressive generalization, performing well regardless of whether the inference backbone is frozen or fine-tuned. This flexibility enables different modules of Uni3C to be trained in specific domains, i.e., either camera control or human motion control, reducing the dependency on jointly annotated data. Second, we propose a jointly aligned 3D world guidance for the inference phase that seamlessly integrates both scenic point clouds and SMPL-X characters to unify the control signals for camera and human motion, respectively. Extensive experiments confirm that PCDController enjoys strong robustness in driving camera motion for fine-tuned backbones of video generation. Uni3C substantially outperforms competitors in both camera controllability and human motion quality. Additionally, we collect tailored validation sets featuring challenging camera movements and human actions to validate the effectiveness of our method.