GimbalDiffusion: Zwaartekrachtbewuste camerabesturing voor videogeneratie
GimbalDiffusion: Gravity-Aware Camera Control for Video Generation
December 9, 2025
Auteurs: Frédéric Fortier-Chouinard, Yannick Hold-Geoffroy, Valentin Deschaintre, Matheus Gadelha, Jean-François Lalonde
cs.AI
Samenvatting
Recente vooruitgang in tekst-naar-video-generatie heeft een opmerkelijke realistische kwaliteit bereikt, maar fijnmazige controle over camerabeweging en -oriëntatie blijft moeilijk te realiseren. Bestaande methoden coderen cameratrajecten doorgaans via relatieve of ambigue representaties, wat expliciete geometrische controle beperkt. Wij introduceren GimbalDiffusion, een raamwerk dat camerabesturing mogelijk maakt, verankerd in fysieke wereldcoördinaten met behulp van de zwaartekracht als globaal referentiepunt. In plaats van beweging te beschrijven ten opzichte van vorige frames, definieert onze methode cameratrajecten in een absoluut coördinatenstelsel. Dit maakt precieze en interpreteerbare controle over cameraparameters mogelijk zonder dat een initieel referentieframe nodig is. Wij maken gebruik van panoramische 360-gradenvideo's om een grote verscheidenheid aan cameratrajecten te construeren, die ruimschoots verder gaan dan de overwegend rechte, voorwaarts gerichte trajecten in conventionele videodata. Om de camerasturing verder te verbeteren, introduceren wij null-pitch-conditionering, een annotatiestrategie die de afhankelijkheid van het model van tekstinhoud vermindert wanneer deze in conflict is met cameraspecificaties (bijvoorbeeld het genereren van gras terwijl de camera naar de hemel wijst). Ten slotte stellen wij een benchmark in voor camera-bewuste videogeneratie door SpatialVID-HQ opnieuw in balans te brengen voor een uitgebreide evaluatie onder grote variatie in camerapitch. Gezamenlijk bevorderen deze bijdragen de bestuurbaarheid en robuustheid van tekst-naar-videomodellen, waardoor precieze, op de zwaartekracht uitgelijnde cameramanipulatie binnen generatieve raamwerken mogelijk wordt.
English
Recent progress in text-to-video generation has achieved remarkable realism, yet fine-grained control over camera motion and orientation remains elusive. Existing approaches typically encode camera trajectories through relative or ambiguous representations, limiting explicit geometric control. We introduce GimbalDiffusion, a framework that enables camera control grounded in physical-world coordinates, using gravity as a global reference. Instead of describing motion relative to previous frames, our method defines camera trajectories in an absolute coordinate system, allowing precise and interpretable control over camera parameters without requiring an initial reference frame. We leverage panoramic 360-degree videos to construct a wide variety of camera trajectories, well beyond the predominantly straight, forward-facing trajectories seen in conventional video data. To further enhance camera guidance, we introduce null-pitch conditioning, an annotation strategy that reduces the model's reliance on text content when conflicting with camera specifications (e.g., generating grass while the camera points towards the sky). Finally, we establish a benchmark for camera-aware video generation by rebalancing SpatialVID-HQ for comprehensive evaluation under wide camera pitch variation. Together, these contributions advance the controllability and robustness of text-to-video models, enabling precise, gravity-aligned camera manipulation within generative frameworks.