DualCamCtrl: Dual-Branch-Diffusionsmodell für geometriebewusste, kameragesteuerte Videogenerierung
DualCamCtrl: Dual-Branch Diffusion Model for Geometry-Aware Camera-Controlled Video Generation
November 28, 2025
papers.authors: Hongfei Zhang, Kanghao Chen, Zixin Zhang, Harold Haodong Chen, Yuanhuiyi Lyu, Yuqi Zhang, Shuai Yang, Kun Zhou, Yingcong Chen
cs.AI
papers.abstract
Dieses Papier stellt DualCamCtrl vor, ein neuartiges End-to-End-Diffusionsmodell für kameragesteuerte Videogenerierung. Aktuelle Arbeiten haben dieses Feld vorangebracht, indem sie Kameraposen als strahlenbasierte Bedingungen darstellen, doch ihnen fehlt oft ausreichendes Szenenverständnis und geometrisches Bewusstsein. DualCamCtrl adressiert gezielt diese Limitation durch Einführung eines Dual-Branch-Frameworks, das gegenseitig kamera-konsistente RGB- und Tiefensequenzen erzeugt. Um diese beiden Modalitäten zu harmonisieren, schlagen wir weiterhin den Semantic Guided Mutual Alignment (SIGMA)-Mechanismus vor, der RGB-Tiefen-Fusion auf semantisch geführte und gegenseitig verstärkende Weise durchführt. Diese Designs ermöglichen es DualCamCtrl gemeinsam, Erscheinungsbild- und Geometriemodellierung besser zu entwirren und Videos zu generieren, die spezifizierten Kameratrajektorien treuer folgen. Zusätzlich analysieren und enthüllen wir den distinkten Einfluss von Tiefe und Kameraposen über Denoising-Stadien hinweg und demonstrieren weiter, dass frühe und späte Stadien komplementäre Rollen bei der Formation globaler Struktur und Verfeinerung lokaler Details spielen. Umfangreiche Experimente zeigen, dass DualCamCtrl konsistentere kameragesteuerte Videogenerierung erreicht, mit über 40\% Reduktion von Kamerabewegungsfehlern im Vergleich zu vorherigen Methoden. Unsere Projektseite: https://soyouthinkyoucantell.github.io/dualcamctrl-page/
English
This paper presents DualCamCtrl, a novel end-to-end diffusion model for camera-controlled video generation. Recent works have advanced this field by representing camera poses as ray-based conditions, yet they often lack sufficient scene understanding and geometric awareness. DualCamCtrl specifically targets this limitation by introducing a dual-branch framework that mutually generates camera-consistent RGB and depth sequences. To harmonize these two modalities, we further propose the Semantic Guided Mutual Alignment (SIGMA) mechanism, which performs RGB-depth fusion in a semantics-guided and mutually reinforced manner. These designs collectively enable DualCamCtrl to better disentangle appearance and geometry modeling, generating videos that more faithfully adhere to the specified camera trajectories. Additionally, we analyze and reveal the distinct influence of depth and camera poses across denoising stages and further demonstrate that early and late stages play complementary roles in forming global structure and refining local details. Extensive experiments demonstrate that DualCamCtrl achieves more consistent camera-controlled video generation, with over 40\% reduction in camera motion errors compared with prior methods. Our project page: https://soyouthinkyoucantell.github.io/dualcamctrl-page/