Effiziente kameragesteuerte Videogenerierung statischer Szenen durch sparse Diffusion und 3D-Rendering

Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering

January 14, 2026

papers.authors: Jieying Chen, Jeffrey Hu, Joan Lasenby, Ayush Tewari

cs.AI

papers.abstract

Moderne videogenerative Modelle auf Basis von Diffusionsmodellen können zwar sehr realistische Clips erzeugen, sind jedoch rechenineffizient und benötigen oft Minuten an GPU-Zeit für nur wenige Sekunden Video. Diese Ineffizienz stellt eine kritische Barriere für den Einsatz generativer Videos in Anwendungen mit Echtzeitanforderungen dar, wie embodied AI und VR/AR. Dieser Beitrag untersucht eine neue Strategie für kamera-konditionierte Videogenerierung statischer Szenen: die Verwendung diffusionsbasierter generativer Modelle zur Erzeugung eines sparsamen Satzes von Keyframes, gefolgt von der Synthese des vollständigen Videos durch 3D-Rekonstruktion und Rendering. Durch die Hebung der Keyframes in eine 3D-Repräsentation und das Rendern intermediärer Ansichten amortisiert unser Ansatz die Generierungskosten über hunderte von Frames hinweg und erzwingt gleichzeitig geometrische Konsistenz. Wir führen weiterhin ein Modell ein, das die optimale Anzahl von Keyframes für eine gegebene Kameratrajektorie vorhersagt, wodurch das System die Berechnungen adaptiv zuweisen kann. Unsere finale Methode, SRENDER, verwendet sehr spärliche Keyframes für einfache Trajektorien und dichtere für komplexe Kamerabewegungen. Dies führt zu einer Videogenerierung, die mehr als 40-mal schneller ist als die diffusionsbasierte Baseline bei der Erzeugung von 20 Sekunden Video, bei gleichzeitiger Beibehaltung hoher visueller Qualität und zeitlicher Stabilität, und bietet damit einen praktischen Weg zu effizienter und steuerbarer Videosynthese.

English

Modern video generative models based on diffusion models can produce very realistic clips, but they are computationally inefficient, often requiring minutes of GPU time for just a few seconds of video. This inefficiency poses a critical barrier to deploying generative video in applications that require real-time interactions, such as embodied AI and VR/AR. This paper explores a new strategy for camera-conditioned video generation of static scenes: using diffusion-based generative models to generate a sparse set of keyframes, and then synthesizing the full video through 3D reconstruction and rendering. By lifting keyframes into a 3D representation and rendering intermediate views, our approach amortizes the generation cost across hundreds of frames while enforcing geometric consistency. We further introduce a model that predicts the optimal number of keyframes for a given camera trajectory, allowing the system to adaptively allocate computation. Our final method, SRENDER, uses very sparse keyframes for simple trajectories and denser ones for complex camera motion. This results in video generation that is more than 40 times faster than the diffusion-based baseline in generating 20 seconds of video, while maintaining high visual fidelity and temporal stability, offering a practical path toward efficient and controllable video synthesis.