Uni3C: Vereinheitlichung präziser 3D-optimierter Kamera- und menschlicher Bewegungssteuerungen für die Videogenerierung

Uni3C: Unifying Precisely 3D-Enhanced Camera and Human Motion Controls for Video Generation

April 21, 2025

Autoren: Chenjie Cao, Jingkai Zhou, Shikai Li, Jingyun Liang, Chaohui Yu, Fan Wang, Xiangyang Xue, Yanwei Fu

cs.AI

Zusammenfassung

Kamera- und menschliche Bewegungssteuerungen wurden umfassend für die Videogenerierung untersucht, doch bestehende Ansätze behandeln sie typischerweise separat und leiden unter begrenzten Daten mit hochwertigen Annotationen für beide Aspekte. Um dies zu überwinden, präsentieren wir Uni3C, ein einheitliches 3D-erweitertes Framework für die präzise Steuerung sowohl der Kamera- als auch der menschlichen Bewegung in der Videogenerierung. Uni3C umfasst zwei wesentliche Beiträge. Erstens schlagen wir ein Plug-and-Play-Steuerungsmodul vor, das mit einem eingefrorenen generativen Video-Backbone trainiert wird, den PCDController, der unprojizierte Punktwolken aus monokularer Tiefe nutzt, um eine präzise Kamerasteuerung zu erreichen. Durch die Nutzung der starken 3D-Prioritäten von Punktwolken und der leistungsstarken Fähigkeiten von Video-Grundlagenmodellen zeigt der PCDController eine beeindruckende Generalisierung und funktioniert unabhängig davon, ob der Inferenz-Backbone eingefroren oder feinabgestimmt ist. Diese Flexibilität ermöglicht es, verschiedene Module von Uni3C in spezifischen Domänen zu trainieren, d.h. entweder Kamerasteuerung oder menschliche Bewegungssteuerung, wodurch die Abhängigkeit von gemeinsam annotierten Daten verringert wird. Zweitens schlagen wir eine gemeinsam ausgerichtete 3D-Weltführung für die Inferenzphase vor, die nahtlos sowohl szenische Punktwolken als auch SMPL-X-Charaktere integriert, um die Steuersignale für Kamera- und menschliche Bewegung zu vereinheitlichen. Umfangreiche Experimente bestätigen, dass der PCDController eine starke Robustheit bei der Steuerung der Kamerabewegung für feinabgestimmte Backbones der Videogenerierung aufweist. Uni3C übertrifft die Konkurrenz sowohl in der Kamerasteuerbarkeit als auch in der Qualität der menschlichen Bewegung deutlich. Zusätzlich haben wir maßgeschneiderte Validierungssätze mit herausfordernden Kamerabewegungen und menschlichen Aktionen gesammelt, um die Effektivität unserer Methode zu validieren.

English

Camera and human motion controls have been extensively studied for video generation, but existing approaches typically address them separately, suffering from limited data with high-quality annotations for both aspects. To overcome this, we present Uni3C, a unified 3D-enhanced framework for precise control of both camera and human motion in video generation. Uni3C includes two key contributions. First, we propose a plug-and-play control module trained with a frozen video generative backbone, PCDController, which utilizes unprojected point clouds from monocular depth to achieve accurate camera control. By leveraging the strong 3D priors of point clouds and the powerful capacities of video foundational models, PCDController shows impressive generalization, performing well regardless of whether the inference backbone is frozen or fine-tuned. This flexibility enables different modules of Uni3C to be trained in specific domains, i.e., either camera control or human motion control, reducing the dependency on jointly annotated data. Second, we propose a jointly aligned 3D world guidance for the inference phase that seamlessly integrates both scenic point clouds and SMPL-X characters to unify the control signals for camera and human motion, respectively. Extensive experiments confirm that PCDController enjoys strong robustness in driving camera motion for fine-tuned backbones of video generation. Uni3C substantially outperforms competitors in both camera controllability and human motion quality. Additionally, we collect tailored validation sets featuring challenging camera movements and human actions to validate the effectiveness of our method.