Splatting Gaussiano Eficiente para Renderização de Cena Dinâmica Monocular através de Modelagem Esparsa de Atributos Variantes no Tempo.

Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling

February 27, 2025

Autores: Hanyang Kong, Xingyi Yang, Xinchao Wang

cs.AI

Resumo

Renderizar cenas dinâmicas a partir de vídeos monoculares é uma tarefa crucial, porém desafiadora. O recente método de Splatting Gaussiano Deformável surgiu como uma solução robusta para representar cenas dinâmicas do mundo real. No entanto, frequentemente resulta em Gaussianas altamente redundantes, tentando se ajustar a cada visualização de treinamento em vários momentos no tempo, o que leva a velocidades de renderização mais lentas. Além disso, os atributos das Gaussianas em áreas estáticas são invariantes no tempo, tornando desnecessário modelar cada Gaussiana, o que pode causar instabilidade em regiões estáticas. Na prática, o principal gargalo na velocidade de renderização de cenas dinâmicas é o número de Gaussianas. Em resposta, apresentamos o Splatting Gaussiano Dinâmico Eficiente (EDGS), que representa cenas dinâmicas por meio de modelagem esparsa de atributos variantes no tempo. Nossa abordagem formula cenas dinâmicas usando uma representação esparsa de grade de âncoras, com o fluxo de movimento das Gaussianas densas calculado por meio de uma representação de kernel clássica. Além disso, propomos uma estratégia não supervisionada para filtrar eficientemente âncoras correspondentes a áreas estáticas. Apenas âncoras associadas a objetos deformáveis são inseridas em MLPs para consultar atributos variantes no tempo. Experimentos em dois conjuntos de dados do mundo real demonstram que nosso EDGS melhora significativamente a velocidade de renderização com qualidade de renderização superior em comparação com métodos anteriores de ponta.

English

Rendering dynamic scenes from monocular videos is a crucial yet challenging task. The recent deformable Gaussian Splatting has emerged as a robust solution to represent real-world dynamic scenes. However, it often leads to heavily redundant Gaussians, attempting to fit every training view at various time steps, leading to slower rendering speeds. Additionally, the attributes of Gaussians in static areas are time-invariant, making it unnecessary to model every Gaussian, which can cause jittering in static regions. In practice, the primary bottleneck in rendering speed for dynamic scenes is the number of Gaussians. In response, we introduce Efficient Dynamic Gaussian Splatting (EDGS), which represents dynamic scenes via sparse time-variant attribute modeling. Our approach formulates dynamic scenes using a sparse anchor-grid representation, with the motion flow of dense Gaussians calculated via a classical kernel representation. Furthermore, we propose an unsupervised strategy to efficiently filter out anchors corresponding to static areas. Only anchors associated with deformable objects are input into MLPs to query time-variant attributes. Experiments on two real-world datasets demonstrate that our EDGS significantly improves the rendering speed with superior rendering quality compared to previous state-of-the-art methods.