Scaffold-GS : Gaussiennes 3D structurées pour un rendu adaptatif à la vue

Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

November 30, 2023

Auteurs: Tao Lu, Mulin Yu, Linning Xu, Yuanbo Xiangli, Limin Wang, Dahua Lin, Bo Dai

cs.AI

Résumé

Les méthodes de rendu neuronal ont considérablement fait progresser le rendu photo-réaliste de scènes 3D dans diverses applications académiques et industrielles. La récente méthode de *3D Gaussian Splatting* a atteint une qualité et une vitesse de rendu de pointe, combinant les avantages des représentations basées sur des primitives et des représentations volumétriques. Cependant, elle conduit souvent à une redondance excessive de Gaussiennes qui tentent de s'adapter à chaque vue d'entraînement, négligeant la géométrie sous-jacente de la scène. Par conséquent, le modèle résultant devient moins robuste face à des changements de vue significatifs, des zones sans texture et des effets d'éclairage. Nous introduisons *Scaffold-GS*, qui utilise des points d'ancrage pour distribuer des Gaussiennes 3D locales et prédit leurs attributs à la volée en fonction de la direction de vue et de la distance dans le frustum visuel. Des stratégies de croissance et d'élagage des points d'ancrage sont développées en fonction de l'importance des Gaussiennes neuronales pour améliorer de manière fiable la couverture de la scène. Nous montrons que notre méthode réduit efficacement les Gaussiennes redondantes tout en offrant un rendu de haute qualité. Nous démontrons également une capacité accrue à s'adapter à des scènes avec différents niveaux de détail et des observations dépendantes de la vue, sans sacrifier la vitesse de rendu.

English

Neural rendering methods have significantly advanced photo-realistic 3D scene rendering in various academic and industrial applications. The recent 3D Gaussian Splatting method has achieved the state-of-the-art rendering quality and speed combining the benefits of both primitive-based representations and volumetric representations. However, it often leads to heavily redundant Gaussians that try to fit every training view, neglecting the underlying scene geometry. Consequently, the resulting model becomes less robust to significant view changes, texture-less area and lighting effects. We introduce Scaffold-GS, which uses anchor points to distribute local 3D Gaussians, and predicts their attributes on-the-fly based on viewing direction and distance within the view frustum. Anchor growing and pruning strategies are developed based on the importance of neural Gaussians to reliably improve the scene coverage. We show that our method effectively reduces redundant Gaussians while delivering high-quality rendering. We also demonstrates an enhanced capability to accommodate scenes with varying levels-of-detail and view-dependent observations, without sacrificing the rendering speed.