Generazione Efficiente di Video Controllati da Camera per Scene Statiche tramite Diffusione Sparsa e Rendering 3D

Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering

January 14, 2026

Autori: Jieying Chen, Jeffrey Hu, Joan Lasenby, Ayush Tewari

cs.AI

Abstract

I moderni modelli generativi video basati su modelli di diffusione possono produrre clip molto realistici, ma sono computazionalmente inefficienti, richiedendo spesso minuti di tempo di GPU per soli pochi secondi di video. Questa inefficienza rappresenta una barriera critica per la diffusione della generazione video in applicazioni che richiedono interazioni in tempo reale, come l'AI incarnata e la realtà virtuale/aumentata. Questo articolo esplora una nuova strategia per la generazione video condizionata dalla telecamera di scene statiche: utilizzare modelli generativi basati su diffusione per generare un insieme sparso di fotogrammi chiave, per poi sintetizzare il video completo attraverso ricostruzione 3D e rendering. Sollevando i fotogrammi chiave in una rappresentazione 3D e renderizzando le viste intermedie, il nostro approccio ammortizza il costo di generazione su centinaia di fotogrammi applicando al contempo una consistenza geometrica. Introduciamo inoltre un modello che predice il numero ottimale di fotogrammi chiave per una data traiettoria della telecamera, consentendo al sistema di allocare computazione in modo adattivo. Il nostro metodo finale, SRENDER, utilizza fotogrammi chiave molto sparsi per traiettorie semplici e più densi per movimenti complessi della telecamera. Ciò si traduce in una generazione video che è oltre 40 volte più veloce rispetto al baseline basato su diffusione nel generare 20 secondi di video, mantenendo al contempo un'alta fedeltà visiva e stabilità temporale, offrendo una via pratica verso una sintesi video efficiente e controllabile.

English

Modern video generative models based on diffusion models can produce very realistic clips, but they are computationally inefficient, often requiring minutes of GPU time for just a few seconds of video. This inefficiency poses a critical barrier to deploying generative video in applications that require real-time interactions, such as embodied AI and VR/AR. This paper explores a new strategy for camera-conditioned video generation of static scenes: using diffusion-based generative models to generate a sparse set of keyframes, and then synthesizing the full video through 3D reconstruction and rendering. By lifting keyframes into a 3D representation and rendering intermediate views, our approach amortizes the generation cost across hundreds of frames while enforcing geometric consistency. We further introduce a model that predicts the optimal number of keyframes for a given camera trajectory, allowing the system to adaptively allocate computation. Our final method, SRENDER, uses very sparse keyframes for simple trajectories and denser ones for complex camera motion. This results in video generation that is more than 40 times faster than the diffusion-based baseline in generating 20 seconds of video, while maintaining high visual fidelity and temporal stability, offering a practical path toward efficient and controllable video synthesis.