Компактное трехмерное гауссово сглаживание для статических и динамических полей излучения.

Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields

August 7, 2024

Авторы: Joo Chan Lee, Daniel Rho, Xiangyu Sun, Jong Hwan Ko, Eunbyung Park

cs.AI

Аннотация

3D гауссово сглаживание (3DGS) недавно появилось как альтернативное представление, использующее гауссово трехмерное представление и вводящее приближенную объемную рендеринг, достигая очень высокой скорости рендеринга и обещающего качества изображения. Более того, последующие исследования успешно расширили 3DGS до динамических трехмерных сцен, демонстрируя его широкий спектр применений. Однако возникает значительный недостаток, поскольку 3DGS и его последующие методы требуют значительного количества гауссов, чтобы сохранить высокую точность визуализированных изображений, что требует большого объема памяти и хранилища. Для решения этой критической проблемы мы уделяем особое внимание двум ключевым целям: уменьшению количества гауссов без ущерба производительности и сжатию гауссовских атрибутов, таких как зависящий от вида цвет и ковариация. Для этого мы предлагаем стратегию обучаемой маски, которая значительно уменьшает количество гауссов, сохраняя при этом высокую производительность. Кроме того, мы предлагаем компактное, но эффективное представление зависящего от вида цвета, используя сеточное нейронное поле вместо сферических гармоник. Наконец, мы обучаем кодовые книги для компактного представления геометрических и временных атрибутов с помощью остаточного векторного квантования. С помощью техник сжатия модели, таких как квантование и кодирование энтропии, мы последовательно показываем более чем в 25 раз уменьшенное хранилище и улучшенную скорость рендеринга по сравнению с 3DGS для статических сцен, сохраняя при этом качество представления сцены. Для динамических сцен наш подход обеспечивает более чем в 12 раз большую эффективность хранения и сохраняет высококачественную реконструкцию по сравнению с существующими передовыми методами. Наша работа предоставляет комплексную структуру для представления трехмерных сцен, достигая высокой производительности, быстрого обучения, компактности и реального времени рендеринга. Наша страница проекта доступна по адресу https://maincold2.github.io/c3dgs/.

English

3D Gaussian splatting (3DGS) has recently emerged as an alternative representation that leverages a 3D Gaussian-based representation and introduces an approximated volumetric rendering, achieving very fast rendering speed and promising image quality. Furthermore, subsequent studies have successfully extended 3DGS to dynamic 3D scenes, demonstrating its wide range of applications. However, a significant drawback arises as 3DGS and its following methods entail a substantial number of Gaussians to maintain the high fidelity of the rendered images, which requires a large amount of memory and storage. To address this critical issue, we place a specific emphasis on two key objectives: reducing the number of Gaussian points without sacrificing performance and compressing the Gaussian attributes, such as view-dependent color and covariance. To this end, we propose a learnable mask strategy that significantly reduces the number of Gaussians while preserving high performance. In addition, we propose a compact but effective representation of view-dependent color by employing a grid-based neural field rather than relying on spherical harmonics. Finally, we learn codebooks to compactly represent the geometric and temporal attributes by residual vector quantization. With model compression techniques such as quantization and entropy coding, we consistently show over 25x reduced storage and enhanced rendering speed compared to 3DGS for static scenes, while maintaining the quality of the scene representation. For dynamic scenes, our approach achieves more than 12x storage efficiency and retains a high-quality reconstruction compared to the existing state-of-the-art methods. Our work provides a comprehensive framework for 3D scene representation, achieving high performance, fast training, compactness, and real-time rendering. Our project page is available at https://maincold2.github.io/c3dgs/.