Uni3C: Unificación de Controles Precisos de Cámara Mejorada en 3D y Movimiento Humano para la Generación de Videos

Uni3C: Unifying Precisely 3D-Enhanced Camera and Human Motion Controls for Video Generation

April 21, 2025

Autores: Chenjie Cao, Jingkai Zhou, Shikai Li, Jingyun Liang, Chaohui Yu, Fan Wang, Xiangyang Xue, Yanwei Fu

cs.AI

Resumen

El control de la cámara y el movimiento humano ha sido ampliamente estudiado para la generación de videos, pero los enfoques existentes generalmente los abordan por separado, enfrentándose a datos limitados con anotaciones de alta calidad para ambos aspectos. Para superar esto, presentamos Uni3C, un marco unificado mejorado en 3D para el control preciso tanto de la cámara como del movimiento humano en la generación de videos. Uni3C incluye dos contribuciones clave. Primero, proponemos un módulo de control plug-and-play entrenado con un modelo generativo de video congelado, PCDController, que utiliza nubes de puntos no proyectadas a partir de la profundidad monocular para lograr un control preciso de la cámara. Al aprovechar los fuertes conocimientos previos en 3D de las nubes de puntos y las potentes capacidades de los modelos fundamentales de video, PCDController muestra una generalización impresionante, desempeñándose bien independientemente de si el modelo de inferencia está congelado o ajustado. Esta flexibilidad permite que los diferentes módulos de Uni3C se entrenen en dominios específicos, es decir, ya sea en el control de la cámara o en el control del movimiento humano, reduciendo la dependencia de datos anotados conjuntamente. Segundo, proponemos una guía de mundo 3D alineada conjuntamente para la fase de inferencia que integra de manera fluida tanto las nubes de puntos escénicas como los personajes SMPL-X para unificar las señales de control de la cámara y el movimiento humano, respectivamente. Experimentos exhaustivos confirman que PCDController disfruta de una fuerte robustez al dirigir el movimiento de la cámara para modelos ajustados de generación de video. Uni3C supera sustancialmente a los competidores tanto en la capacidad de control de la cámara como en la calidad del movimiento humano. Además, recopilamos conjuntos de validación personalizados que presentan movimientos de cámara desafiantes y acciones humanas para validar la efectividad de nuestro método.

English

Camera and human motion controls have been extensively studied for video generation, but existing approaches typically address them separately, suffering from limited data with high-quality annotations for both aspects. To overcome this, we present Uni3C, a unified 3D-enhanced framework for precise control of both camera and human motion in video generation. Uni3C includes two key contributions. First, we propose a plug-and-play control module trained with a frozen video generative backbone, PCDController, which utilizes unprojected point clouds from monocular depth to achieve accurate camera control. By leveraging the strong 3D priors of point clouds and the powerful capacities of video foundational models, PCDController shows impressive generalization, performing well regardless of whether the inference backbone is frozen or fine-tuned. This flexibility enables different modules of Uni3C to be trained in specific domains, i.e., either camera control or human motion control, reducing the dependency on jointly annotated data. Second, we propose a jointly aligned 3D world guidance for the inference phase that seamlessly integrates both scenic point clouds and SMPL-X characters to unify the control signals for camera and human motion, respectively. Extensive experiments confirm that PCDController enjoys strong robustness in driving camera motion for fine-tuned backbones of video generation. Uni3C substantially outperforms competitors in both camera controllability and human motion quality. Additionally, we collect tailored validation sets featuring challenging camera movements and human actions to validate the effectiveness of our method.