Scaffold-GS: Структурированные 3D Гауссовы распределения для адаптивного рендеринга с учетом угла обзора

Scaffold-GS: Structured 3D Gaussians for View-Adaptive Rendering

November 30, 2023

Авторы: Tao Lu, Mulin Yu, Linning Xu, Yuanbo Xiangli, Limin Wang, Dahua Lin, Bo Dai

cs.AI

Аннотация

Методы нейронного рендеринга значительно продвинули фотореалистичное 3D-рендеринг сцен в различных академических и промышленных приложениях. Недавний метод 3D Gaussian Splatting достиг наивысшего качества и скорости рендеринга, сочетая преимущества как примитивных, так и объемных представлений. Однако он часто приводит к избыточному количеству гауссов, которые пытаются соответствовать каждому обучающему виду, игнорируя базовую геометрию сцены. В результате модель становится менее устойчивой к значительным изменениям ракурса, текстурированным областям и эффектам освещения. Мы представляем Scaffold-GS, который использует опорные точки для распределения локальных 3D-гауссов и предсказывает их атрибуты на лету на основе направления обзора и расстояния внутри видимого объема. Стратегии роста и обрезки опорных точек разработаны на основе важности нейронных гауссов для надежного улучшения покрытия сцены. Мы показываем, что наш метод эффективно сокращает избыточные гауссы, обеспечивая при этом высококачественный рендеринг. Также демонстрируется улучшенная способность адаптироваться к сценам с различными уровнями детализации и наблюдениями, зависящими от ракурса, без ущерба для скорости рендеринга.

English

Neural rendering methods have significantly advanced photo-realistic 3D scene rendering in various academic and industrial applications. The recent 3D Gaussian Splatting method has achieved the state-of-the-art rendering quality and speed combining the benefits of both primitive-based representations and volumetric representations. However, it often leads to heavily redundant Gaussians that try to fit every training view, neglecting the underlying scene geometry. Consequently, the resulting model becomes less robust to significant view changes, texture-less area and lighting effects. We introduce Scaffold-GS, which uses anchor points to distribute local 3D Gaussians, and predicts their attributes on-the-fly based on viewing direction and distance within the view frustum. Anchor growing and pruning strategies are developed based on the importance of neural Gaussians to reliably improve the scene coverage. We show that our method effectively reduces redundant Gaussians while delivering high-quality rendering. We also demonstrates an enhanced capability to accommodate scenes with varying levels-of-detail and view-dependent observations, without sacrificing the rendering speed.