GimbalDiffusion: Controllo della Fotocamera con Consapevolezza della Gravità per la Generazione di Video
GimbalDiffusion: Gravity-Aware Camera Control for Video Generation
December 9, 2025
Autori: Frédéric Fortier-Chouinard, Yannick Hold-Geoffroy, Valentin Deschaintre, Matheus Gadelha, Jean-François Lalonde
cs.AI
Abstract
I recenti progressi nella generazione video da testo hanno raggiunto un realismo notevole, tuttavia il controllo granulare sul movimento e l'orientamento della telecamera rimane elusivo. Gli approcci esistenti codificano tipicamente le traiettorie della telecamera attraverso rappresentazioni relative o ambigue, limitando il controllo geometrico esplicito. Introduciamo GimbalDiffusion, un framework che abilita il controllo della telecamera ancorato a coordinate del mondo fisico, utilizzando la gravità come riferimento globale. Invece di descrivere il movimento rispetto ai fotogrammi precedenti, il nostro metodo definisce le traiettorie della telecamera in un sistema di coordinate assoluto, consentendo un controllo preciso e interpretabile sui parametri della telecamera senza richiedere un fotogramma di riferimento iniziale. Sfruttiamo video panoramici a 360 gradi per costruire un'ampia varietà di traiettorie di telecamera, che vanno ben oltre le traiettorie prevalentemente rettilinee e frontali osservate nei dati video convenzionali. Per migliorare ulteriormente la guida della telecamera, introduciamo il condizionamento null-pitch, una strategia di annotazione che riduce la dipendenza del modello dal contenuto testuale quando questo entra in conflitto con le specifiche della telecamera (ad esempio, generare dell'erba mentre la telecamera punta verso il cielo). Infine, stabiliamo un benchmark per la generazione video consapevole della telecamera riequilibrando SpatialVID-HQ per una valutazione completa sotto un'ampia variazione dell'inclinazione (pitch) della telecamera. Insieme, questi contributi fanno avanzare la controllabilità e la robustezza dei modelli video da testo, abilitando una manipolazione precisa e allineata alla gravità della telecamera all'interno di framework generativi.
English
Recent progress in text-to-video generation has achieved remarkable realism, yet fine-grained control over camera motion and orientation remains elusive. Existing approaches typically encode camera trajectories through relative or ambiguous representations, limiting explicit geometric control. We introduce GimbalDiffusion, a framework that enables camera control grounded in physical-world coordinates, using gravity as a global reference. Instead of describing motion relative to previous frames, our method defines camera trajectories in an absolute coordinate system, allowing precise and interpretable control over camera parameters without requiring an initial reference frame. We leverage panoramic 360-degree videos to construct a wide variety of camera trajectories, well beyond the predominantly straight, forward-facing trajectories seen in conventional video data. To further enhance camera guidance, we introduce null-pitch conditioning, an annotation strategy that reduces the model's reliance on text content when conflicting with camera specifications (e.g., generating grass while the camera points towards the sky). Finally, we establish a benchmark for camera-aware video generation by rebalancing SpatialVID-HQ for comprehensive evaluation under wide camera pitch variation. Together, these contributions advance the controllability and robustness of text-to-video models, enabling precise, gravity-aligned camera manipulation within generative frameworks.