Génération efficace de vidéos contrôlées par caméra de scènes statiques via diffusion parcimonieuse et rendu 3D

Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering

January 14, 2026

papers.authors: Jieying Chen, Jeffrey Hu, Joan Lasenby, Ayush Tewari

cs.AI

papers.abstract

Les modèles génératifs vidéo modernes basés sur les modèles de diffusion peuvent produire des séquences très réalistes, mais ils sont peu efficaces sur le plan computationnel, nécessitant souvent plusieurs minutes de calcul sur GPU pour seulement quelques secondes de vidéo. Cette inefficacité constitue un obstacle critique au déploiement de la génération vidéo dans des applications nécessitant des interactions en temps réel, telles que l'IA incarnée et la réalité virtuelle/augmentée. Cet article explore une nouvelle stratégie pour la génération vidéo conditionnée par la caméra de scènes statiques : utiliser des modèles génératifs à base de diffusion pour produire un ensemble épars d'images clés, puis synthétiser la vidéo complète via la reconstruction 3D et le rendu. En projetant les images clés dans une représentation 3D et en rendant les vues intermédiaires, notre approche amortit le coût de génération sur des centaines de trames tout en imposant une cohérence géométrique. Nous introduisons en outre un modèle qui prédit le nombre optimal d'images clés pour une trajectoire caméra donnée, permettant au système d'allouer dynamiquement le calcul. Notre méthode finale, SRENDER, utilise des images clés très éparses pour les trajectoires simples et plus denses pour les mouvements de caméra complexes. Il en résulte une génération vidéo plus de 40 fois plus rapide que l'approche de référence basée sur la diffusion pour produire 20 secondes de vidéo, tout en maintenant une haute fidélité visuelle et une stabilité temporelle, offrant ainsi une voie pratique vers une synthèse vidéo efficace et contrôlable.

English

Modern video generative models based on diffusion models can produce very realistic clips, but they are computationally inefficient, often requiring minutes of GPU time for just a few seconds of video. This inefficiency poses a critical barrier to deploying generative video in applications that require real-time interactions, such as embodied AI and VR/AR. This paper explores a new strategy for camera-conditioned video generation of static scenes: using diffusion-based generative models to generate a sparse set of keyframes, and then synthesizing the full video through 3D reconstruction and rendering. By lifting keyframes into a 3D representation and rendering intermediate views, our approach amortizes the generation cost across hundreds of frames while enforcing geometric consistency. We further introduce a model that predicts the optimal number of keyframes for a given camera trajectory, allowing the system to adaptively allocate computation. Our final method, SRENDER, uses very sparse keyframes for simple trajectories and denser ones for complex camera motion. This results in video generation that is more than 40 times faster than the diffusion-based baseline in generating 20 seconds of video, while maintaining high visual fidelity and temporal stability, offering a practical path toward efficient and controllable video synthesis.