DualCamCtrl: Modelo de Difusión de Doble Rama para Generación de Vídeo Controlado por Cámara con Conciencia Geométrica
DualCamCtrl: Dual-Branch Diffusion Model for Geometry-Aware Camera-Controlled Video Generation
November 28, 2025
Autores: Hongfei Zhang, Kanghao Chen, Zixin Zhang, Harold Haodong Chen, Yuanhuiyi Lyu, Yuqi Zhang, Shuai Yang, Kun Zhou, Yingcong Chen
cs.AI
Resumen
Este artículo presenta DualCamCtrl, un novedoso modelo de difusión de extremo a extremo para la generación de vídeos controlados por cámara. Trabajos recientes han avanzado en este campo representando las poses de la cámara como condiciones basadas en rayos, aunque a menudo carecen de una comprensión suficiente de la escena y de conciencia geométrica. DualCamCtrl aborda específicamente esta limitación mediante la introducción de un marco de doble rama que genera mutuamente secuencias RGB y de profundidad consistentes con la cámara. Para armonizar estas dos modalidades, proponemos además el mecanismo de Alineación Mutua Guiada por Semántica (SIGMA), que realiza la fusión RGB-profundidad de manera guiada por semántica y mutuamente reforzada. Estos diseños permiten colectivamente a DualCamCtrl desentrañar mejor el modelado de apariencia y geometría, generando vídeos que se adhieren más fielmente a las trayectorias de cámara especificadas. Adicionalmente, analizamos y revelamos la influencia distintiva de la profundidad y las poses de la cámara a lo largo de las etapas de eliminación de ruido, y demostramos además que las etapas tempranas y tardías desempeñan roles complementarios en la formación de la estructura global y el refinamiento de los detalles locales. Experimentos exhaustivos demuestran que DualCamCtrl logra una generación de vídeo controlado por cámara más consistente, con una reducción de más del 40% en los errores de movimiento de cámara en comparación con métodos anteriores. Nuestra página del proyecto: https://soyouthinkyoucantell.github.io/dualcamctrl-page/
English
This paper presents DualCamCtrl, a novel end-to-end diffusion model for camera-controlled video generation. Recent works have advanced this field by representing camera poses as ray-based conditions, yet they often lack sufficient scene understanding and geometric awareness. DualCamCtrl specifically targets this limitation by introducing a dual-branch framework that mutually generates camera-consistent RGB and depth sequences. To harmonize these two modalities, we further propose the Semantic Guided Mutual Alignment (SIGMA) mechanism, which performs RGB-depth fusion in a semantics-guided and mutually reinforced manner. These designs collectively enable DualCamCtrl to better disentangle appearance and geometry modeling, generating videos that more faithfully adhere to the specified camera trajectories. Additionally, we analyze and reveal the distinct influence of depth and camera poses across denoising stages and further demonstrate that early and late stages play complementary roles in forming global structure and refining local details. Extensive experiments demonstrate that DualCamCtrl achieves more consistent camera-controlled video generation, with over 40\% reduction in camera motion errors compared with prior methods. Our project page: https://soyouthinkyoucantell.github.io/dualcamctrl-page/