Proyección de Características Gaussianas en Espacio-Tiempo para Síntesis de Vistas Dinámicas en Tiempo Real

Spacetime Gaussian Feature Splatting for Real-Time Dynamic View Synthesis

December 28, 2023

Autores: Zhan Li, Zhang Chen, Zhong Li, Yi Xu

cs.AI

Resumen

La síntesis de nuevas vistas de escenas dinámicas ha sido un problema fascinante pero desafiante. A pesar de los avances recientes, lograr simultáneamente resultados fotorealísticos de alta resolución, renderizado en tiempo real y almacenamiento compacto sigue siendo una tarea formidable. Para abordar estos desafíos, proponemos Spacetime Gaussian Feature Splatting como una nueva representación de escenas dinámicas, compuesta por tres componentes clave. Primero, formulamos Gaussianas Espacio-Temporales expresivas al mejorar las Gaussianas 3D con opacidad temporal y movimiento/rotación paramétricos. Esto permite que las Gaussianas Espacio-Temporales capturen contenido estático, dinámico y transitorio dentro de una escena. Segundo, introducimos el renderizado de características splat, que reemplaza los armónicos esféricos con características neuronales. Estas características facilitan el modelado de la apariencia dependiente de la vista y el tiempo, manteniendo un tamaño reducido. Tercero, aprovechamos la guía del error de entrenamiento y la profundidad aproximada para muestrear nuevas Gaussianas en áreas que son difíciles de converger con las tuberías existentes. Los experimentos en varios conjuntos de datos del mundo real establecidos demuestran que nuestro método logra una calidad y velocidad de renderizado de vanguardia, manteniendo un almacenamiento compacto. A una resolución de 8K, nuestra versión ligera del modelo puede renderizar a 60 FPS en una GPU Nvidia RTX 4090.

English

Novel view synthesis of dynamic scenes has been an intriguing yet challenging problem. Despite recent advancements, simultaneously achieving high-resolution photorealistic results, real-time rendering, and compact storage remains a formidable task. To address these challenges, we propose Spacetime Gaussian Feature Splatting as a novel dynamic scene representation, composed of three pivotal components. First, we formulate expressive Spacetime Gaussians by enhancing 3D Gaussians with temporal opacity and parametric motion/rotation. This enables Spacetime Gaussians to capture static, dynamic, as well as transient content within a scene. Second, we introduce splatted feature rendering, which replaces spherical harmonics with neural features. These features facilitate the modeling of view- and time-dependent appearance while maintaining small size. Third, we leverage the guidance of training error and coarse depth to sample new Gaussians in areas that are challenging to converge with existing pipelines. Experiments on several established real-world datasets demonstrate that our method achieves state-of-the-art rendering quality and speed, while retaining compact storage. At 8K resolution, our lite-version model can render at 60 FPS on an Nvidia RTX 4090 GPU.