Управление плотностью методом наискорейшего спуска для компактного 3D-сплайттинга на основе гауссовых функций

Steepest Descent Density Control for Compact 3D Gaussian Splatting

May 8, 2025

Авторы: Peihao Wang, Yuehao Wang, Dilin Wang, Sreyas Mohan, Zhiwen Fan, Lemeng Wu, Ruisi Cai, Yu-Ying Yeh, Zhangyang Wang, Qiang Liu, Rakesh Ranjan

cs.AI

Аннотация

3D Gaussian Splatting (3DGS) зарекомендовал себя как мощная техника для синтеза новых видов в реальном времени с высоким разрешением. Представляя сцены как смесь гауссовых примитивов, 3DGS использует конвейеры растеризации GPU для эффективного рендеринга и реконструкции. Для оптимизации покрытия сцены и захвата мелких деталей 3DGS применяет алгоритм уплотнения, генерирующий дополнительные точки. Однако этот процесс часто приводит к избыточным облакам точек, что вызывает чрезмерное использование памяти, замедление производительности и значительные требования к хранению данных, создавая серьезные проблемы для развертывания на устройствах с ограниченными ресурсами. Чтобы устранить это ограничение, мы предлагаем теоретическую основу, которая проясняет и улучшает управление плотностью в 3DGS. Наш анализ показывает, что разделение точек критически важно для выхода из седловых точек. Используя оптимизационно-теоретический подход, мы устанавливаем необходимые условия для уплотнения, определяем минимальное количество дочерних гауссовых распределений, находим оптимальное направление обновления параметров и предоставляем аналитическое решение для нормализации прозрачности дочерних элементов. На основе этих инсайтов мы представляем SteepGS, который включает в себя управление плотностью по наискорейшему спуску — принципиальную стратегию, минимизирующую потери при сохранении компактного облака точек. SteepGS позволяет сократить количество гауссовых точек примерно на 50% без ущерба для качества рендеринга, значительно повышая как эффективность, так и масштабируемость.

English

3D Gaussian Splatting (3DGS) has emerged as a powerful technique for real-time, high-resolution novel view synthesis. By representing scenes as a mixture of Gaussian primitives, 3DGS leverages GPU rasterization pipelines for efficient rendering and reconstruction. To optimize scene coverage and capture fine details, 3DGS employs a densification algorithm to generate additional points. However, this process often leads to redundant point clouds, resulting in excessive memory usage, slower performance, and substantial storage demands - posing significant challenges for deployment on resource-constrained devices. To address this limitation, we propose a theoretical framework that demystifies and improves density control in 3DGS. Our analysis reveals that splitting is crucial for escaping saddle points. Through an optimization-theoretic approach, we establish the necessary conditions for densification, determine the minimal number of offspring Gaussians, identify the optimal parameter update direction, and provide an analytical solution for normalizing off-spring opacity. Building on these insights, we introduce SteepGS, incorporating steepest density control, a principled strategy that minimizes loss while maintaining a compact point cloud. SteepGS achieves a ~50% reduction in Gaussian points without compromising rendering quality, significantly enhancing both efficiency and scalability.