Scaffold-GS: Strukturierte 3D-Gaußsche Verteilungen für adaptives Rendering aus verschiedenen Blickwinkeln

Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

November 30, 2023

Autoren: Tao Lu, Mulin Yu, Linning Xu, Yuanbo Xiangli, Limin Wang, Dahua Lin, Bo Dai

cs.AI

Zusammenfassung

Neuronale Rendering-Methoden haben die fotorealistische 3D-Szenendarstellung in verschiedenen akademischen und industriellen Anwendungen erheblich vorangetrieben. Die kürzlich entwickelte 3D-Gaußsche Splatting-Methode hat die beste Rendering-Qualität und Geschwindigkeit erreicht, indem sie die Vorteile sowohl primitivenbasierter als auch volumetrischer Darstellungen kombiniert. Allerdings führt sie oft zu stark redundanten Gaußschen Verteilungen, die versuchen, jede Trainingsansicht anzupassen, wodurch die zugrunde liegende Szenengeometrie vernachlässigt wird. Infolgedessen wird das resultierende Modell weniger robust gegenüber signifikanten Blickwinkeländerungen, texturlosen Bereichen und Beleuchtungseffekten. Wir stellen Scaffold-GS vor, das Ankerpunkte verwendet, um lokale 3D-Gaußsche Verteilungen zu platzieren, und deren Attribute in Echtzeit basierend auf Blickrichtung und Entfernung innerhalb des Sichtfrustums vorhersagt. Ankerwachstums- und Beschneidungsstrategien werden basierend auf der Bedeutung neuronaler Gaußscher Verteilungen entwickelt, um die Szenenabdeckung zuverlässig zu verbessern. Wir zeigen, dass unsere Methode effektiv redundante Gaußsche Verteilungen reduziert, während sie hochwertiges Rendering liefert. Sie demonstriert außerdem eine verbesserte Fähigkeit, Szenen mit unterschiedlichen Detailstufen und sichtabhängigen Beobachtungen zu verarbeiten, ohne die Rendering-Geschwindigkeit zu beeinträchtigen.

English

Neural rendering methods have significantly advanced photo-realistic 3D scene rendering in various academic and industrial applications. The recent 3D Gaussian Splatting method has achieved the state-of-the-art rendering quality and speed combining the benefits of both primitive-based representations and volumetric representations. However, it often leads to heavily redundant Gaussians that try to fit every training view, neglecting the underlying scene geometry. Consequently, the resulting model becomes less robust to significant view changes, texture-less area and lighting effects. We introduce Scaffold-GS, which uses anchor points to distribute local 3D Gaussians, and predicts their attributes on-the-fly based on viewing direction and distance within the view frustum. Anchor growing and pruning strategies are developed based on the importance of neural Gaussians to reliably improve the scene coverage. We show that our method effectively reduces redundant Gaussians while delivering high-quality rendering. We also demonstrates an enhanced capability to accommodate scenes with varying levels-of-detail and view-dependent observations, without sacrificing the rendering speed.