Scaffold-GS: Gestructureerde 3D Gaussians voor View-Adaptieve Rendering

Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

November 30, 2023

Auteurs: Tao Lu, Mulin Yu, Linning Xu, Yuanbo Xiangli, Limin Wang, Dahua Lin, Bo Dai

cs.AI

Samenvatting

Neurale renderingmethoden hebben foto-realistische 3D-scèneweergave aanzienlijk vooruitgebracht in diverse academische en industriële toepassingen. De recente 3D Gaussian Splatting-methode heeft de state-of-the-art weergavekwaliteit en snelheid bereikt door de voordelen van zowel op primitieven gebaseerde representaties als volumetrische representaties te combineren. Het leidt echter vaak tot sterk redundante Gaussiaanse verdelingen die elke trainingsweergave proberen te benaderen, waarbij de onderliggende scènegeometrie wordt verwaarloosd. Hierdoor wordt het resulterende model minder robuust bij significante veranderingen in het gezichtspunt, textuurloze gebieden en lichteffecten. Wij introduceren Scaffold-GS, dat ankerpunten gebruikt om lokale 3D Gaussiaanse verdelingen te verdelen en hun attributen on-the-fly voorspelt op basis van de kijkrichting en afstand binnen het view frustum. Ankergroei- en snoeistrategieën worden ontwikkeld op basis van het belang van neurale Gaussiaanse verdelingen om de scènedekking betrouwbaar te verbeteren. Wij tonen aan dat onze methode effectief redundante Gaussiaanse verdelingen vermindert terwijl het een hoogwaardige weergave levert. Daarnaast toont onze methode een verbeterd vermogen om scènes met verschillende niveaus van detail en waarnemingen afhankelijk van het gezichtspunt te accommoderen, zonder in te leveren op de weergavesnelheid.

English

Neural rendering methods have significantly advanced photo-realistic 3D scene rendering in various academic and industrial applications. The recent 3D Gaussian Splatting method has achieved the state-of-the-art rendering quality and speed combining the benefits of both primitive-based representations and volumetric representations. However, it often leads to heavily redundant Gaussians that try to fit every training view, neglecting the underlying scene geometry. Consequently, the resulting model becomes less robust to significant view changes, texture-less area and lighting effects. We introduce Scaffold-GS, which uses anchor points to distribute local 3D Gaussians, and predicts their attributes on-the-fly based on viewing direction and distance within the view frustum. Anchor growing and pruning strategies are developed based on the importance of neural Gaussians to reliably improve the scene coverage. We show that our method effectively reduces redundant Gaussians while delivering high-quality rendering. We also demonstrates an enhanced capability to accommodate scenes with varying levels-of-detail and view-dependent observations, without sacrificing the rendering speed.