SpaceTimePilot : Rendu génératif de scènes dynamiques à travers l'espace et le temps
SpaceTimePilot: Generative Rendering of Dynamic Scenes Across Space and Time
December 31, 2025
papers.authors: Zhening Huang, Hyeonho Jeong, Xuelin Chen, Yulia Gryaditskaya, Tuanfeng Y. Wang, Joan Lasenby, Chun-Hao Huang
cs.AI
papers.abstract
Nous présentons SpaceTimePilot, un modèle de diffusion vidéo qui dissocie l'espace et le temps pour un rendu génératif contrôlable. Étant donné une vidéo monoculaire, SpaceTimePilot peut modifier indépendamment le point de vue de la caméra et la séquence temporelle au sein du processus génératif, re-rendant la scène pour une exploration continue et arbitraire à travers l'espace et le temps. Pour y parvenir, nous introduisons un mécanisme efficace d'incorporation temporelle d'animation dans le processus de diffusion, permettant un contrôle explicite de la séquence de mouvement de la vidéo générée par rapport à celle de la vidéo source. Comme aucun jeu de données ne fournit de vidéos appariées de la même scène dynamique avec des variations temporelles continues, nous proposons un schéma d'entraînement par déformation temporelle simple mais efficace, qui réutilise des jeux de données multi-vues existants pour imiter des différences temporelles. Cette stratégie supervise efficacement le modèle pour apprendre le contrôle temporel et atteindre une robuste dissociation espace-temps. Pour améliorer encore la précision du double contrôle, nous introduisons deux composants supplémentaires : un mécanisme amélioré de conditionnement par la caméra permettant de modifier le point de vue dès la première image, et CamxTime, le premier jeu de données de rendu synthétique à couverture complète espace-temps qui fournit des trajectoires vidéo entièrement libres en espace-temps au sein d'une scène. Un entraînement conjoint sur le schéma de déformation temporelle et le jeu de données CamxTime permet un contrôle temporel plus précis. Nous évaluons SpaceTimePilot sur des données réelles et synthétiques, démontrant une nette dissociation espace-temps et de solides résultats par rapport aux travaux antérieurs. Page du projet : https://zheninghuang.github.io/Space-Time-Pilot/ Code : https://github.com/ZheningHuang/spacetimepilot
English
We present SpaceTimePilot, a video diffusion model that disentangles space and time for controllable generative rendering. Given a monocular video, SpaceTimePilot can independently alter the camera viewpoint and the motion sequence within the generative process, re-rendering the scene for continuous and arbitrary exploration across space and time. To achieve this, we introduce an effective animation time-embedding mechanism in the diffusion process, allowing explicit control of the output video's motion sequence with respect to that of the source video. As no datasets provide paired videos of the same dynamic scene with continuous temporal variations, we propose a simple yet effective temporal-warping training scheme that repurposes existing multi-view datasets to mimic temporal differences. This strategy effectively supervises the model to learn temporal control and achieve robust space-time disentanglement. To further enhance the precision of dual control, we introduce two additional components: an improved camera-conditioning mechanism that allows altering the camera from the first frame, and CamxTime, the first synthetic space-and-time full-coverage rendering dataset that provides fully free space-time video trajectories within a scene. Joint training on the temporal-warping scheme and the CamxTime dataset yields more precise temporal control. We evaluate SpaceTimePilot on both real-world and synthetic data, demonstrating clear space-time disentanglement and strong results compared to prior work. Project page: https://zheninghuang.github.io/Space-Time-Pilot/ Code: https://github.com/ZheningHuang/spacetimepilot