Эффективное управляемое камерой видеогенерация статичных сцен с помощью разреженной диффузии и 3D-рендеринга

Efficient Camera-Controlled Video Generation of Static Scenes via Sparse Diffusion and 3D Rendering

January 14, 2026

Авторы: Jieying Chen, Jeffrey Hu, Joan Lasenby, Ayush Tewari

cs.AI

Аннотация

Современные генеративные модели видео на основе диффузионных моделей способны создавать высокореалистичные видеоролики, однако они вычислительно неэффективны, зачастую требуя минут GPU-времени для генерации всего нескольких секунд видео. Эта неэффективность представляет собой серьезное препятствие для развертывания генеративного видео в приложениях, требующих взаимодействия в реальном времени, таких как воплощенный ИИ и VR/AR. В данной статье исследуется новая стратегия генерации видео статичных сцен с условием на камеру: использование диффузионных генеративных моделей для создания разреженного набора ключевых кадров с последующим синтезом полного видео посредством 3D-реконструкции и рендеринга. Путем поднятия ключевых кадров в 3D-представление и рендеринга промежуточных видов наш подход распределяет стоимость генерации на сотни кадров, одновременно обеспечивая геометрическую согласованность. Мы также представляем модель, которая предсказывает оптимальное количество ключевых кадров для заданной траектории камеры, что позволяет системе адаптивно распределять вычисления. Наш итоговый метод, SRENDER, использует очень разреженные ключевые кадры для простых траекторий и более плотные — для сложного движения камеры. В результате генерация видео становится более чем в 40 раз быстрее по сравнению с диффузионным базовым методом при создании 20-секундного видео, при этом сохраняя высокую визуальную достоверность и временную стабильность, что открывает практический путь к эффективному и управляемому синтезу видео.

English

Modern video generative models based on diffusion models can produce very realistic clips, but they are computationally inefficient, often requiring minutes of GPU time for just a few seconds of video. This inefficiency poses a critical barrier to deploying generative video in applications that require real-time interactions, such as embodied AI and VR/AR. This paper explores a new strategy for camera-conditioned video generation of static scenes: using diffusion-based generative models to generate a sparse set of keyframes, and then synthesizing the full video through 3D reconstruction and rendering. By lifting keyframes into a 3D representation and rendering intermediate views, our approach amortizes the generation cost across hundreds of frames while enforcing geometric consistency. We further introduce a model that predicts the optimal number of keyframes for a given camera trajectory, allowing the system to adaptively allocate computation. Our final method, SRENDER, uses very sparse keyframes for simple trajectories and denser ones for complex camera motion. This results in video generation that is more than 40 times faster than the diffusion-based baseline in generating 20 seconds of video, while maintaining high visual fidelity and temporal stability, offering a practical path toward efficient and controllable video synthesis.