Efficiënte camera-gestuurde videogeneratie van statische scènes via Sparse Diffusie en 3D-rendering

Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering

January 14, 2026

Auteurs: Jieying Chen, Jeffrey Hu, Joan Lasenby, Ayush Tewari

cs.AI

Samenvatting

Moderne videogeneratieve modellen op basis van diffusiemodellen kunnen zeer realistische clips produceren, maar zijn rekenkundig inefficiënt; vaak zijn er minuten GPU-tijd nodig voor slechts enkele seconden video. Deze inefficiëntie vormt een kritieke barrière voor de inzet van generatieve video in toepassingen die realtime interactie vereisen, zoals embodied AI en VR/AR. Dit artikel onderzoekt een nieuwe strategie voor camera-geconditioneerde videogeneratie van statische scènes: het gebruik van diffusiegebaseerde generatieve modellen om een beperkte set keyframes te genereren, waarna de volledige video wordt gesynthetiseerd via 3D-reconstructie en rendering. Door keyframes om te zetten in een 3D-representatie en tussenliggende beelden te renderen, amortiseert onze aanpak de generatiekosten over honderden frames en handhaaft tegelijkertijd geometrische consistentie. We introduceren verder een model dat het optimale aantal keyframes voor een gegeven cameratraject voorspelt, waardoor het systeem rekenkracht adaptief kan toewijzen. Onze uiteindelijke methode, SRENDER, gebruikt zeer weinig keyframes voor eenvoudige trajecten en meer keyframes voor complexe camerabewegingen. Dit resulteert in videogeneratie die meer dan 40 keer sneller is dan de diffusiegebaseerde baseline bij het genereren van 20 seconden video, met behoud van hoge visuele kwaliteit en temporele stabiliteit. Dit biedt een praktisch pad naar efficiënte en controleerbare videosynthese.

English

Modern video generative models based on diffusion models can produce very realistic clips, but they are computationally inefficient, often requiring minutes of GPU time for just a few seconds of video. This inefficiency poses a critical barrier to deploying generative video in applications that require real-time interactions, such as embodied AI and VR/AR. This paper explores a new strategy for camera-conditioned video generation of static scenes: using diffusion-based generative models to generate a sparse set of keyframes, and then synthesizing the full video through 3D reconstruction and rendering. By lifting keyframes into a 3D representation and rendering intermediate views, our approach amortizes the generation cost across hundreds of frames while enforcing geometric consistency. We further introduce a model that predicts the optimal number of keyframes for a given camera trajectory, allowing the system to adaptively allocate computation. Our final method, SRENDER, uses very sparse keyframes for simple trajectories and denser ones for complex camera motion. This results in video generation that is more than 40 times faster than the diffusion-based baseline in generating 20 seconds of video, while maintaining high visual fidelity and temporal stability, offering a practical path toward efficient and controllable video synthesis.