GimbalDiffusion: Schwerkraftbewusste Kamerasteuerung für die Videogenerierung
GimbalDiffusion: Gravity-Aware Camera Control for Video Generation
December 9, 2025
papers.authors: Frédéric Fortier-Chouinard, Yannick Hold-Geoffroy, Valentin Deschaintre, Matheus Gadelha, Jean-François Lalonde
cs.AI
papers.abstract
Jüngste Fortschritte in der Text-zu-Video-Generierung haben eine bemerkenswerte Realitätstreue erreicht, doch die feinkörnige Steuerung von Kamerabewegung und -ausrichtung bleibt eine Herausforderung. Bestehende Ansätze kodieren Kameratrajektorien typischerweise durch relative oder mehrdeutige Repräsentationen, was eine explizite geometrische Kontrolle einschränkt. Wir stellen GimbalDiffusion vor, ein Framework, das Kamerasteuerung in physikalischen Weltkoordinaten ermöglicht und dabei die Schwerkraft als globalen Referenzpunkt nutzt. Anstatt Bewegungen relativ zu vorherigen Bildern zu beschreiben, definiert unsere Methode Kameratrajektorien in einem absoluten Koordinatensystem, was eine präzise und interpretierbare Kontrolle der Kameraparameter ohne benötigten Referenzrahmen ermöglicht. Wir nutzen panoramische 360-Grad-Videos, um eine Vielzahl von Kameratrajektorien zu konstruieren, die weit über die vorwiegend geradlinigen, vorwärtsgerichteten Trajektorien in konventionellen Videodaten hinausgehen. Um die Kameraführung weiter zu verbessern, führen wir Null-Neigungs-Konditionierung (null-pitch conditioning) ein, eine Annotationsstrategie, die die Abhängigkeit des Modells von Textinhalten reduziert, wenn diese mit Kameraspezifikationen im Konflikt stehen (z.B. die Generierung von Gras, während die Kamera zum Himmel zeigt). Schließlich etablieren wir einen Maßstab für kamerabewusste Videogenerierung, indem wir SpatialVID-HQ für eine umfassende Bewertung unter großer Variation der Kameraneigung neu gewichten. Zusammengenommen fördern diese Beiträge die Steuerbarkeit und Robustheit von Text-zu-Video-Modellen und ermöglichen eine präzise, schwerkraftausgerichtete Kameramanipulation innerhalb generativer Frameworks.
English
Recent progress in text-to-video generation has achieved remarkable realism, yet fine-grained control over camera motion and orientation remains elusive. Existing approaches typically encode camera trajectories through relative or ambiguous representations, limiting explicit geometric control. We introduce GimbalDiffusion, a framework that enables camera control grounded in physical-world coordinates, using gravity as a global reference. Instead of describing motion relative to previous frames, our method defines camera trajectories in an absolute coordinate system, allowing precise and interpretable control over camera parameters without requiring an initial reference frame. We leverage panoramic 360-degree videos to construct a wide variety of camera trajectories, well beyond the predominantly straight, forward-facing trajectories seen in conventional video data. To further enhance camera guidance, we introduce null-pitch conditioning, an annotation strategy that reduces the model's reliance on text content when conflicting with camera specifications (e.g., generating grass while the camera points towards the sky). Finally, we establish a benchmark for camera-aware video generation by rebalancing SpatialVID-HQ for comprehensive evaluation under wide camera pitch variation. Together, these contributions advance the controllability and robustness of text-to-video models, enabling precise, gravity-aligned camera manipulation within generative frameworks.