Splatting Gaussiano eficiente para renderización de escenas dinámicas monoculares a través de modelado de atributos esparsos y variantes en el tiempo.

Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling

February 27, 2025

Autores: Hanyang Kong, Xingyi Yang, Xinchao Wang

cs.AI

Resumen

La representación de escenas dinámicas a partir de videos monoculares es una tarea crucial pero desafiante. El reciente método de Splatting Gaussiano deformable ha surgido como una solución robusta para representar escenas dinámicas del mundo real. Sin embargo, a menudo conduce a Gaussiano altamente redundantes, intentando ajustarse a cada vista de entrenamiento en diferentes momentos, lo que resulta en velocidades de renderización más lentas. Además, los atributos de los Gaussianos en áreas estáticas son invariantes en el tiempo, lo que hace innecesario modelar cada Gaussiano, lo que puede causar vibraciones en regiones estáticas. En la práctica, el cuello de botella principal en la velocidad de renderización para escenas dinámicas es el número de Gaussianos. En respuesta, presentamos el Splatting Gaussiano Dinámico Eficiente (EDGS), que representa escenas dinámicas mediante modelado de atributos esparsos variantes en el tiempo. Nuestro enfoque formula escenas dinámicas utilizando una representación de rejilla de anclaje esparsa, con el flujo de movimiento de Gaussianos densos calculado a través de una representación de kernel clásica. Además, proponemos una estrategia no supervisada para filtrar eficientemente los anclajes correspondientes a áreas estáticas. Solo los anclajes asociados con objetos deformables se introducen en MLPs para consultar atributos variantes en el tiempo. Experimentos en dos conjuntos de datos del mundo real demuestran que nuestro EDGS mejora significativamente la velocidad de renderización con una calidad de renderización superior en comparación con los métodos anteriores de vanguardia.

English

Rendering dynamic scenes from monocular videos is a crucial yet challenging task. The recent deformable Gaussian Splatting has emerged as a robust solution to represent real-world dynamic scenes. However, it often leads to heavily redundant Gaussians, attempting to fit every training view at various time steps, leading to slower rendering speeds. Additionally, the attributes of Gaussians in static areas are time-invariant, making it unnecessary to model every Gaussian, which can cause jittering in static regions. In practice, the primary bottleneck in rendering speed for dynamic scenes is the number of Gaussians. In response, we introduce Efficient Dynamic Gaussian Splatting (EDGS), which represents dynamic scenes via sparse time-variant attribute modeling. Our approach formulates dynamic scenes using a sparse anchor-grid representation, with the motion flow of dense Gaussians calculated via a classical kernel representation. Furthermore, we propose an unsupervised strategy to efficiently filter out anchors corresponding to static areas. Only anchors associated with deformable objects are input into MLPs to query time-variant attributes. Experiments on two real-world datasets demonstrate that our EDGS significantly improves the rendering speed with superior rendering quality compared to previous state-of-the-art methods.