Uni3C: Unificação de Controles Precisos de Câmera Aprimorada em 3D e Movimento Humano para Geração de Vídeo

Uni3C: Unifying Precisely 3D-Enhanced Camera and Human Motion Controls for Video Generation

April 21, 2025

Autores: Chenjie Cao, Jingkai Zhou, Shikai Li, Jingyun Liang, Chaohui Yu, Fan Wang, Xiangyang Xue, Yanwei Fu

cs.AI

Resumo

Os controles de movimento de câmera e humano têm sido amplamente estudados para geração de vídeo, mas as abordagens existentes geralmente os tratam separadamente, sofrendo com dados limitados e anotações de alta qualidade para ambos os aspectos. Para superar isso, apresentamos o Uni3C, uma estrutura unificada aprimorada em 3D para controle preciso tanto do movimento da câmera quanto do humano na geração de vídeo. O Uni3C inclui duas contribuições principais. Primeiro, propomos um módulo de controle plug-and-play treinado com um backbone gerador de vídeo congelado, o PCDController, que utiliza nuvens de pontos não projetadas a partir de profundidade monocular para alcançar controle preciso da câmera. Ao aproveitar os fortes priors 3D das nuvens de pontos e as capacidades poderosas dos modelos fundamentais de vídeo, o PCDController demonstra uma generalização impressionante, desempenhando-se bem independentemente de o backbone de inferência estar congelado ou ajustado. Essa flexibilidade permite que diferentes módulos do Uni3C sejam treinados em domínios específicos, ou seja, controle de câmera ou controle de movimento humano, reduzindo a dependência de dados anotados conjuntamente. Segundo, propomos uma orientação de mundo 3D alinhada conjuntamente para a fase de inferência que integra perfeitamente tanto nuvens de pontos cênicas quanto personagens SMPL-X para unificar os sinais de controle para câmera e movimento humano, respectivamente. Experimentos extensos confirmam que o PCDController possui forte robustez ao dirigir o movimento da câmera para backbones ajustados de geração de vídeo. O Uni3C supera substancialmente os concorrentes tanto na controlabilidade da câmera quanto na qualidade do movimento humano. Além disso, coletamos conjuntos de validação personalizados com movimentos desafiadores de câmera e ações humanas para validar a eficácia do nosso método.

English

Camera and human motion controls have been extensively studied for video generation, but existing approaches typically address them separately, suffering from limited data with high-quality annotations for both aspects. To overcome this, we present Uni3C, a unified 3D-enhanced framework for precise control of both camera and human motion in video generation. Uni3C includes two key contributions. First, we propose a plug-and-play control module trained with a frozen video generative backbone, PCDController, which utilizes unprojected point clouds from monocular depth to achieve accurate camera control. By leveraging the strong 3D priors of point clouds and the powerful capacities of video foundational models, PCDController shows impressive generalization, performing well regardless of whether the inference backbone is frozen or fine-tuned. This flexibility enables different modules of Uni3C to be trained in specific domains, i.e., either camera control or human motion control, reducing the dependency on jointly annotated data. Second, we propose a jointly aligned 3D world guidance for the inference phase that seamlessly integrates both scenic point clouds and SMPL-X characters to unify the control signals for camera and human motion, respectively. Extensive experiments confirm that PCDController enjoys strong robustness in driving camera motion for fine-tuned backbones of video generation. Uni3C substantially outperforms competitors in both camera controllability and human motion quality. Additionally, we collect tailored validation sets featuring challenging camera movements and human actions to validate the effectiveness of our method.