Uni3C: Unificatie van Precies 3D-verbeterde Camera- en Menselijke Bewegingscontroles voor Videogeneratie

Uni3C: Unifying Precisely 3D-Enhanced Camera and Human Motion Controls for Video Generation

April 21, 2025

Auteurs: Chenjie Cao, Jingkai Zhou, Shikai Li, Jingyun Liang, Chaohui Yu, Fan Wang, Xiangyang Xue, Yanwei Fu

cs.AI

Samenvatting

Camera- en menselijke bewegingscontroles zijn uitgebreid bestudeerd voor videogeneratie, maar bestaande benaderingen behandelen ze doorgaans afzonderlijk, wat leidt tot beperkte data met hoogwaardige annotaties voor beide aspecten. Om dit te overwinnen, presenteren we Uni3C, een uniform 3D-versterkt raamwerk voor precieze controle van zowel camera- als menselijke bewegingen in videogeneratie. Uni3C omvat twee belangrijke bijdragen. Ten eerste stellen we een plug-and-play controlemodule voor, getraind met een bevroren videogeneratieve backbone, PCDController, die gebruikmaakt van niet-geprojecteerde puntenwolken uit monocular depth om nauwkeurige cameracontrole te bereiken. Door de sterke 3D-priors van puntenwolken en de krachtige capaciteiten van videofundamentele modellen te benutten, toont PCDController indrukwekkende generalisatie, waarbij het goed presteert ongeacht of de inferentie-backbone bevroren of fijn afgestemd is. Deze flexibiliteit maakt het mogelijk dat verschillende modules van Uni3C in specifieke domeinen worden getraind, d.w.z. cameracontrole of menselijke bewegingscontrole, waardoor de afhankelijkheid van gezamenlijk geannoteerde data wordt verminderd. Ten tweede stellen we een gezamenlijk uitgelijnde 3D-wereldbegeleiding voor de inferentiefase voor die naadloos zowel scènische puntenwolken als SMPL-X-personages integreert om de controlesignalen voor camera- en menselijke bewegingen respectievelijk te unificeren. Uitgebreide experimenten bevestigen dat PCDController een sterke robuustheid geniet bij het aansturen van camerabewegingen voor fijn afgestemde backbones van videogeneratie. Uni3C overtreft concurrenten aanzienlijk in zowel camerabaarheid als kwaliteit van menselijke bewegingen. Daarnaast hebben we op maat gemaakte validatiesets verzameld met uitdagende camerabewegingen en menselijke acties om de effectiviteit van onze methode te valideren.

English

Camera and human motion controls have been extensively studied for video generation, but existing approaches typically address them separately, suffering from limited data with high-quality annotations for both aspects. To overcome this, we present Uni3C, a unified 3D-enhanced framework for precise control of both camera and human motion in video generation. Uni3C includes two key contributions. First, we propose a plug-and-play control module trained with a frozen video generative backbone, PCDController, which utilizes unprojected point clouds from monocular depth to achieve accurate camera control. By leveraging the strong 3D priors of point clouds and the powerful capacities of video foundational models, PCDController shows impressive generalization, performing well regardless of whether the inference backbone is frozen or fine-tuned. This flexibility enables different modules of Uni3C to be trained in specific domains, i.e., either camera control or human motion control, reducing the dependency on jointly annotated data. Second, we propose a jointly aligned 3D world guidance for the inference phase that seamlessly integrates both scenic point clouds and SMPL-X characters to unify the control signals for camera and human motion, respectively. Extensive experiments confirm that PCDController enjoys strong robustness in driving camera motion for fine-tuned backbones of video generation. Uni3C substantially outperforms competitors in both camera controllability and human motion quality. Additionally, we collect tailored validation sets featuring challenging camera movements and human actions to validate the effectiveness of our method.