GimbalDiffusion: Управление камерой с учетом гравитации для генерации видео
GimbalDiffusion: Gravity-Aware Camera Control for Video Generation
December 9, 2025
Авторы: Frédéric Fortier-Chouinard, Yannick Hold-Geoffroy, Valentin Deschaintre, Matheus Gadelha, Jean-François Lalonde
cs.AI
Аннотация
Последние достижения в области генерации видео по текстовому описанию позволили добиться впечатляющего реализма, однако точный контроль над движением и ориентацией камеры остается сложной задачей. Существующие подходы обычно кодируют траектории камеры с помощью относительных или неоднозначных представлений, что ограничивает явный геометрический контроль. Мы представляем GimbalDiffusion — фреймворк, который обеспечивает управление камерой, основанное на координатах реального мира, с использованием силы тяжести в качестве глобального ориентира. Вместо описания движения относительно предыдущих кадров наш метод определяет траектории камеры в абсолютной системе координат, позволяя осуществлять точный и интерпретируемый контроль параметрами камеры без необходимости в начальном опорном кадре. Мы используем панорамные 360-градусные видео для построения широкого разнообразия траекторий камеры, далеко выходящих за пределы преимущественно прямолинейных, направленных вперед траекторий, характерных для традиционных видеоданных. Для дальнейшего улучшения управления камерой мы вводим условное нулевое тангажное условие — стратегию аннотирования, которая снижает зависимость модели от текстового содержания при его конфликте с параметрами камеры (например, генерация травы, когда камера направлена в небо). Наконец, мы создаем эталон для оценки генерации видео с учетом параметров камеры, перебалансировав набор данных SpatialVID-HQ для всестороннего тестирования при широком диапазоне изменения тангажа камеры. В совокупности эти достижения повышают управляемость и надежность моделей генерации видео по тексту, обеспечивая точное, согласованное с гравитацией управление камерой в рамках генеративных фреймворков.
English
Recent progress in text-to-video generation has achieved remarkable realism, yet fine-grained control over camera motion and orientation remains elusive. Existing approaches typically encode camera trajectories through relative or ambiguous representations, limiting explicit geometric control. We introduce GimbalDiffusion, a framework that enables camera control grounded in physical-world coordinates, using gravity as a global reference. Instead of describing motion relative to previous frames, our method defines camera trajectories in an absolute coordinate system, allowing precise and interpretable control over camera parameters without requiring an initial reference frame. We leverage panoramic 360-degree videos to construct a wide variety of camera trajectories, well beyond the predominantly straight, forward-facing trajectories seen in conventional video data. To further enhance camera guidance, we introduce null-pitch conditioning, an annotation strategy that reduces the model's reliance on text content when conflicting with camera specifications (e.g., generating grass while the camera points towards the sky). Finally, we establish a benchmark for camera-aware video generation by rebalancing SpatialVID-HQ for comprehensive evaluation under wide camera pitch variation. Together, these contributions advance the controllability and robustness of text-to-video models, enabling precise, gravity-aligned camera manipulation within generative frameworks.