Splatting di Caratteristiche Gaussiane nello Spaziotempo per la Sintesi Dinamica di Viste in Tempo Reale

Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

December 28, 2023

Autori: Zhan Li, Zhang Chen, Zhong Li, Yi Xu

cs.AI

Abstract

La sintesi di nuove viste di scene dinamiche è un problema affascinante ma impegnativo. Nonostante i recenti progressi, raggiungere simultaneamente risultati fotorealistici ad alta risoluzione, rendering in tempo reale e archiviazione compatta rimane un compito formidabile. Per affrontare queste sfide, proponiamo lo Spacetime Gaussian Feature Splatting come una nuova rappresentazione di scene dinamiche, composta da tre componenti fondamentali. Innanzitutto, formuliamo Spacetime Gaussians espressivi potenziando i Gaussiani 3D con opacità temporale e movimento/rotazione parametrica. Ciò consente agli Spacetime Gaussians di catturare contenuti statici, dinamici e transitori all'interno di una scena. In secondo luogo, introduciamo il rendering di feature splattate, che sostituisce le armoniche sferiche con feature neurali. Queste feature facilitano la modellazione dell'aspetto dipendente dalla vista e dal tempo mantenendo dimensioni ridotte. Terzo, sfruttiamo la guida dell'errore di addestramento e della profondità approssimata per campionare nuovi Gaussiani nelle aree che sono difficili da convergere con le pipeline esistenti. Esperimenti su diversi dataset reali consolidati dimostrano che il nostro metodo raggiunge una qualità e una velocità di rendering all'avanguardia, mantenendo un'archiviazione compatta. A una risoluzione di 8K, la nostra versione leggera del modello può eseguire il rendering a 60 FPS su una GPU Nvidia RTX 4090.

English

Novel view synthesis of dynamic scenes has been an intriguing yet challenging problem. Despite recent advancements, simultaneously achieving high-resolution photorealistic results, real-time rendering, and compact storage remains a formidable task. To address these challenges, we propose Spacetime Gaussian Feature Splatting as a novel dynamic scene representation, composed of three pivotal components. First, we formulate expressive Spacetime Gaussians by enhancing 3D Gaussians with temporal opacity and parametric motion/rotation. This enables Spacetime Gaussians to capture static, dynamic, as well as transient content within a scene. Second, we introduce splatted feature rendering, which replaces spherical harmonics with neural features. These features facilitate the modeling of view- and time-dependent appearance while maintaining small size. Third, we leverage the guidance of training error and coarse depth to sample new Gaussians in areas that are challenging to converge with existing pipelines. Experiments on several established real-world datasets demonstrate that our method achieves state-of-the-art rendering quality and speed, while retaining compact storage. At 8K resolution, our lite-version model can render at 60 FPS on an Nvidia RTX 4090 GPU.