BulletTime: Раздельное управление временем и положением камеры для генерации видео
BulletTime: Decoupled Control of Time and Camera Pose for Video Generation
December 4, 2025
Авторы: Yiming Wang, Qihang Zhang, Shengqu Cai, Tong Wu, Jan Ackermann, Zhengfei Kuang, Yang Zheng, Frano Rajič, Siyu Tang, Gordon Wetzstein
cs.AI
Аннотация
Новые модели диффузии для видео достигают высокой визуальной достоверности, но фундаментально связывают динамику сцены с движением камеры, что ограничивает их способность обеспечивать точное пространственно-временное управление. Мы представляем фреймворк для видео-диффузии с 4D-управлением, который явно разделяет динамику сцены и позицию камеры, обеспечивая детализированное управление как динамикой сцены, так и точкой обзора. Наш фреймворк принимает непрерывные последовательности в мировом времени и траектории камеры в качестве управляющих входов, внедряя их в модель видео-диффузии через 4D-позиционное кодирование в слое внимания и адаптивные нормализации для модуляции признаков. Для обучения этой модели мы подготовили уникальный набор данных, в котором временные вариации и вариации камеры параметризованы независимо; этот набор данных будет опубликован. Эксперименты показывают, что наша модель обеспечивает надежное 4D-управление в реальных условиях для различных временных паттернов и траекторий камеры, сохраняя высокое качество генерации и превосходя предыдущие работы по управляемости. Видео-результаты доступны на нашем сайте: https://19reborn.github.io/Bullet4D/.
English
Emerging video diffusion models achieve high visual fidelity but fundamentally couple scene dynamics with camera motion, limiting their ability to provide precise spatial and temporal control. We introduce a 4D-controllable video diffusion framework that explicitly decouples scene dynamics from camera pose, enabling fine-grained manipulation of both scene dynamics and camera viewpoint. Our framework takes continuous world-time sequences and camera trajectories as conditioning inputs, injecting them into the video diffusion model through a 4D positional encoding in the attention layer and adaptive normalizations for feature modulation. To train this model, we curate a unique dataset in which temporal and camera variations are independently parameterized; this dataset will be made public. Experiments show that our model achieves robust real-world 4D control across diverse timing patterns and camera trajectories, while preserving high generation quality and outperforming prior work in controllability. See our website for video results: https://19reborn.github.io/Bullet4D/