DualCamCtrl: Двухветвевая диффузионная модель для геометрически осознанной генерации видео с контролем камеры
DualCamCtrl: Dual-Branch Diffusion Model for Geometry-Aware Camera-Controlled Video Generation
November 28, 2025
Авторы: Hongfei Zhang, Kanghao Chen, Zixin Zhang, Harold Haodong Chen, Yuanhuiyi Lyu, Yuqi Zhang, Shuai Yang, Kun Zhou, Yingcong Chen
cs.AI
Аннотация
В данной статье представлена DualCamCtrl — новая end-to-end диффузионная модель для генерации видео с управлением камерой. Современные работы продвинули эту область, представляя позы камеры в виде лучевых условий, однако зачастую им не хватает глубокого понимания сцены и геометрической осведомленности. DualCamCtrl целенаправленно устраняет этот недостаток за счет введения двухпоточной архитектуры, которая взаимно генерирует согласованные по камере последовательности RGB и глубины. Для гармонизации этих двух модальностей мы дополнительно предлагаем механизм семантически управляемого взаимного выравнивания (SIGMA), который выполняет слияние RGB и глубины семантически направленным и взаимно усиливающим образом. Данные решения в совокупности позволяют DualCamCtrl более эффективно разделять моделирование внешнего вида и геометрии, генерируя видео, которые точнее следуют заданным траекториям камеры. Кроме того, мы анализируем и выявляем различное влияние глубины и поз камеры на разных этапах денойзинга, а также демонстрируем, что ранние и поздние стадии играют взаимодополняющую роль в формировании глобальной структуры и детализации локальных элементов. Многочисленные эксперименты показывают, что DualCamCtrl обеспечивает более согласованную генерацию видео с управлением камерой, сокращая ошибки движения камеры более чем на 40% по сравнению с предыдущими методами. Страница проекта: https://soyouthinkyoucantell.github.io/dualcamctrl-page/
English
This paper presents DualCamCtrl, a novel end-to-end diffusion model for camera-controlled video generation. Recent works have advanced this field by representing camera poses as ray-based conditions, yet they often lack sufficient scene understanding and geometric awareness. DualCamCtrl specifically targets this limitation by introducing a dual-branch framework that mutually generates camera-consistent RGB and depth sequences. To harmonize these two modalities, we further propose the Semantic Guided Mutual Alignment (SIGMA) mechanism, which performs RGB-depth fusion in a semantics-guided and mutually reinforced manner. These designs collectively enable DualCamCtrl to better disentangle appearance and geometry modeling, generating videos that more faithfully adhere to the specified camera trajectories. Additionally, we analyze and reveal the distinct influence of depth and camera poses across denoising stages and further demonstrate that early and late stages play complementary roles in forming global structure and refining local details. Extensive experiments demonstrate that DualCamCtrl achieves more consistent camera-controlled video generation, with over 40\% reduction in camera motion errors compared with prior methods. Our project page: https://soyouthinkyoucantell.github.io/dualcamctrl-page/