Scaffold-GS: Gaussiane 3D Strutturate per il Rendering Adattivo alla Vista

Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

November 30, 2023

Autori: Tao Lu, Mulin Yu, Linning Xu, Yuanbo Xiangli, Limin Wang, Dahua Lin, Bo Dai

cs.AI

Abstract

I metodi di rendering neurale hanno fatto significativi progressi nel rendering foto-realistico di scene 3D in varie applicazioni accademiche e industriali. Il recente metodo 3D Gaussian Splatting ha raggiunto la massima qualità e velocità di rendering, combinando i vantaggi delle rappresentazioni basate su primitive e delle rappresentazioni volumetriche. Tuttavia, spesso porta a una ridondanza eccessiva di Gaussiane che cercano di adattarsi a ogni vista di addestramento, trascurando la geometria sottostante della scena. Di conseguenza, il modello risultante diventa meno robusto a cambiamenti significativi della vista, aree prive di texture ed effetti di illuminazione. Introduciamo Scaffold-GS, che utilizza punti di ancoraggio per distribuire Gaussiane 3D locali e prevede i loro attributi in tempo reale in base alla direzione di visualizzazione e alla distanza all'interno del frustum visivo. Sono state sviluppate strategie di crescita e potatura degli ancoraggi basate sull'importanza delle Gaussiane neurali per migliorare in modo affidabile la copertura della scena. Dimostriamo che il nostro metodo riduce efficacemente le Gaussiane ridondanti pur fornendo un rendering di alta qualità. Inoltre, mostra una capacità potenziata di adattarsi a scene con diversi livelli di dettaglio e osservazioni dipendenti dalla vista, senza sacrificare la velocità di rendering.

English

Neural rendering methods have significantly advanced photo-realistic 3D scene rendering in various academic and industrial applications. The recent 3D Gaussian Splatting method has achieved the state-of-the-art rendering quality and speed combining the benefits of both primitive-based representations and volumetric representations. However, it often leads to heavily redundant Gaussians that try to fit every training view, neglecting the underlying scene geometry. Consequently, the resulting model becomes less robust to significant view changes, texture-less area and lighting effects. We introduce Scaffold-GS, which uses anchor points to distribute local 3D Gaussians, and predicts their attributes on-the-fly based on viewing direction and distance within the view frustum. Anchor growing and pruning strategies are developed based on the importance of neural Gaussians to reliably improve the scene coverage. We show that our method effectively reduces redundant Gaussians while delivering high-quality rendering. We also demonstrates an enhanced capability to accommodate scenes with varying levels-of-detail and view-dependent observations, without sacrificing the rendering speed.