Scaffold-GS: Gaussianas 3D Estruturadas para Renderização Adaptativa à Visualização

Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

November 30, 2023

Autores: Tao Lu, Mulin Yu, Linning Xu, Yuanbo Xiangli, Limin Wang, Dahua Lin, Bo Dai

cs.AI

Resumo

Métodos de renderização neural avançaram significativamente a renderização foto-realista de cenas 3D em diversas aplicações acadêmicas e industriais. O recente método de Splatting Gaussiano 3D alcançou a melhor qualidade e velocidade de renderização, combinando os benefícios das representações baseadas em primitivas e das representações volumétricas. No entanto, ele frequentemente resulta em Gaussianos excessivamente redundantes que tentam se ajustar a cada visão de treinamento, negligenciando a geometria subjacente da cena. Consequentemente, o modelo resultante torna-se menos robusto a mudanças significativas de visão, áreas sem textura e efeitos de iluminação. Apresentamos o Scaffold-GS, que utiliza pontos de ancoragem para distribuir Gaussianos 3D locais e prevê seus atributos em tempo real com base na direção de visão e na distância dentro do frustum de visão. Estratégias de crescimento e poda de âncoras são desenvolvidas com base na importância dos Gaussianos neurais para melhorar de forma confiável a cobertura da cena. Mostramos que nosso método reduz efetivamente os Gaussianos redundantes enquanto mantém uma renderização de alta qualidade. Também demonstramos uma capacidade aprimorada de acomodar cenas com diferentes níveis de detalhe e observações dependentes da visão, sem sacrificar a velocidade de renderização.

English

Neural rendering methods have significantly advanced photo-realistic 3D scene rendering in various academic and industrial applications. The recent 3D Gaussian Splatting method has achieved the state-of-the-art rendering quality and speed combining the benefits of both primitive-based representations and volumetric representations. However, it often leads to heavily redundant Gaussians that try to fit every training view, neglecting the underlying scene geometry. Consequently, the resulting model becomes less robust to significant view changes, texture-less area and lighting effects. We introduce Scaffold-GS, which uses anchor points to distribute local 3D Gaussians, and predicts their attributes on-the-fly based on viewing direction and distance within the view frustum. Anchor growing and pruning strategies are developed based on the importance of neural Gaussians to reliably improve the scene coverage. We show that our method effectively reduces redundant Gaussians while delivering high-quality rendering. We also demonstrates an enhanced capability to accommodate scenes with varying levels-of-detail and view-dependent observations, without sacrificing the rendering speed.