GimbalDiffusion : Contrôle de caméra prenant en compte la gravité pour la génération de vidéos
GimbalDiffusion: Gravity-Aware Camera Control for Video Generation
December 9, 2025
papers.authors: Frédéric Fortier-Chouinard, Yannick Hold-Geoffroy, Valentin Deschaintre, Matheus Gadelha, Jean-François Lalonde
cs.AI
papers.abstract
Les progrès récents en génération vidéo à partir de texte ont atteint un réalisme remarquable, mais le contrôle précis du mouvement et de l'orientation de la caméra reste difficile. Les approches existantes encodent généralement les trajectoires de caméra par des représentations relatives ou ambiguës, limitant le contrôle géométrique explicite. Nous présentons GimbalDiffusion, un cadre permettant un contrôle de la camère ancré dans les coordonnées du monde physique, utilisant la gravité comme référence globale. Au lieu de décrire le mouvement par rapport aux images précédentes, notre méthode définit les trajectoires de caméra dans un système de coordonnées absolu, permettant un contrôle précis et interprétable des paramètres de caméra sans nécessiter une image de référence initiale. Nous exploitons des vidéos panoramiques à 360 degrés pour construire une grande variété de trajectoires de caméra, bien au-delà des trajectoires majoritairement linéaires et orientées vers l'avant observées dans les données vidéo conventionnelles. Pour renforcer davantage le guidage de la caméra, nous introduisons le *null-pitch conditioning*, une stratégie d'annotation qui réduit la dépendance du modèle au contenu textuel lorsque celui-ci entre en conflit avec les spécifications de la caméra (par exemple, générer de l'herbe alors que la caméra pointe vers le ciel). Enfin, nous établissons un benchmark pour la génération vidéo sensible à la caméra en rééquilibrant SpatialVID-HQ pour une évaluation complète sous de larges variations d'inclinaison de caméra. Ensemble, ces contributions font progresser la contrôlabilité et la robustesse des modèles de génération vidéo à partir de texte, permettant une manipulation précise et alignée sur la gravité de la caméra dans les cadres génératifs.
English
Recent progress in text-to-video generation has achieved remarkable realism, yet fine-grained control over camera motion and orientation remains elusive. Existing approaches typically encode camera trajectories through relative or ambiguous representations, limiting explicit geometric control. We introduce GimbalDiffusion, a framework that enables camera control grounded in physical-world coordinates, using gravity as a global reference. Instead of describing motion relative to previous frames, our method defines camera trajectories in an absolute coordinate system, allowing precise and interpretable control over camera parameters without requiring an initial reference frame. We leverage panoramic 360-degree videos to construct a wide variety of camera trajectories, well beyond the predominantly straight, forward-facing trajectories seen in conventional video data. To further enhance camera guidance, we introduce null-pitch conditioning, an annotation strategy that reduces the model's reliance on text content when conflicting with camera specifications (e.g., generating grass while the camera points towards the sky). Finally, we establish a benchmark for camera-aware video generation by rebalancing SpatialVID-HQ for comprehensive evaluation under wide camera pitch variation. Together, these contributions advance the controllability and robustness of text-to-video models, enabling precise, gravity-aligned camera manipulation within generative frameworks.