静的シーンにおける効率的なカメラ制御ビデオ生成：スパース拡散と3Dレンダリングによるアプローチ

Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering

January 14, 2026

著者: Jieying Chen, Jeffrey Hu, Joan Lasenby, Ayush Tewari

cs.AI

要旨

拡散モデルに基づく現代のビデオ生成モデルは非常にリアルなクリップを生成可能だが、計算効率が低く、数秒の動画生成に数分のGPU時間を要することが多い。この非効率性は、具身AIやVR/ARといったリアルタイム相互作用を必要とするアプリケーションへの生成動画の導入における重大な障壁となっている。本論文では、静的なシーンにおけるカメラ条件付きビデオ生成の新たな戦略を探求する：拡散ベースの生成モデルで疎なキーフレーム集合を生成し、3D復元とレンダリングを通じて完全な動画を合成する手法である。キーフレームを3D表現に変換し中間視点をレンダリングすることで、本アプローチは幾何学的一貫性を強制しつつ、数百フレームにわたって生成コストを分散させる。さらに、所与のカメラ軌道に対して最適なキーフレーム数を予測するモデルを導入し、システムが計算リソースを適応的に配分することを可能にする。最終的な手法であるSRENDERは、単純な軌道ではごく疎なキーフレームを、複雑なカメラ運動ではより密なキーフレームを使用する。これにより、20秒の動画生成において拡散ベースのベースラインよりも40倍以上高速なビデオ生成を実現しつつ、高い視覚的忠実度と時間的安定性を維持し、効率的で制御可能なビデオ合成への実用的な道筋を提供する。

English

Modern video generative models based on diffusion models can produce very realistic clips, but they are computationally inefficient, often requiring minutes of GPU time for just a few seconds of video. This inefficiency poses a critical barrier to deploying generative video in applications that require real-time interactions, such as embodied AI and VR/AR. This paper explores a new strategy for camera-conditioned video generation of static scenes: using diffusion-based generative models to generate a sparse set of keyframes, and then synthesizing the full video through 3D reconstruction and rendering. By lifting keyframes into a 3D representation and rendering intermediate views, our approach amortizes the generation cost across hundreds of frames while enforcing geometric consistency. We further introduce a model that predicts the optimal number of keyframes for a given camera trajectory, allowing the system to adaptively allocate computation. Our final method, SRENDER, uses very sparse keyframes for simple trajectories and denser ones for complex camera motion. This results in video generation that is more than 40 times faster than the diffusion-based baseline in generating 20 seconds of video, while maintaining high visual fidelity and temporal stability, offering a practical path toward efficient and controllable video synthesis.