Scaffold-GS: Gaussianas 3D Estructuradas para Renderizado Adaptativo a la Vista

Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

November 30, 2023

Autores: Tao Lu, Mulin Yu, Linning Xu, Yuanbo Xiangli, Limin Wang, Dahua Lin, Bo Dai

cs.AI

Resumen

Los métodos de renderizado neuronal han avanzado significativamente en la representación fotorrealista de escenas 3D en diversas aplicaciones académicas e industriales. El reciente método de *3D Gaussian Splatting* ha logrado un rendimiento de calidad y velocidad de vanguardia, combinando los beneficios de las representaciones basadas en primitivas y las representaciones volumétricas. Sin embargo, a menudo resulta en una gran redundancia de gaussianos que intentan ajustarse a cada vista de entrenamiento, descuidando la geometría subyacente de la escena. Como consecuencia, el modelo resultante se vuelve menos robusto ante cambios significativos de vista, áreas sin textura y efectos de iluminación. Presentamos *Scaffold-GS*, que utiliza puntos de anclaje para distribuir gaussianos 3D locales y predice sus atributos sobre la marcha en función de la dirección de visión y la distancia dentro del *frustum* de vista. Se desarrollan estrategias de crecimiento y poda de anclajes basadas en la importancia de los gaussianos neuronales para mejorar de manera confiable la cobertura de la escena. Demostramos que nuestro método reduce eficazmente los gaussianos redundantes mientras ofrece un renderizado de alta calidad. También mostramos una capacidad mejorada para adaptarse a escenas con distintos niveles de detalle y observaciones dependientes de la vista, sin sacrificar la velocidad de renderizado.

English

Neural rendering methods have significantly advanced photo-realistic 3D scene rendering in various academic and industrial applications. The recent 3D Gaussian Splatting method has achieved the state-of-the-art rendering quality and speed combining the benefits of both primitive-based representations and volumetric representations. However, it often leads to heavily redundant Gaussians that try to fit every training view, neglecting the underlying scene geometry. Consequently, the resulting model becomes less robust to significant view changes, texture-less area and lighting effects. We introduce Scaffold-GS, which uses anchor points to distribute local 3D Gaussians, and predicts their attributes on-the-fly based on viewing direction and distance within the view frustum. Anchor growing and pruning strategies are developed based on the importance of neural Gaussians to reliably improve the scene coverage. We show that our method effectively reduces redundant Gaussians while delivering high-quality rendering. We also demonstrates an enhanced capability to accommodate scenes with varying levels-of-detail and view-dependent observations, without sacrificing the rendering speed.