FLoD: Интеграция гибкого уровня детализации в трехмерное гауссовское сглаживание для настраиваемого рендеринга

FLoD: Integrating Flexible Level of Detail into 3D Gaussian Splatting for Customizable Rendering

August 23, 2024

Авторы: Yunji Seo, Young Sun Choi, Hyun Seung Son, Youngjung Uh

cs.AI

Аннотация

3D Gaussian Splatting (3DGS) достигает быстрой и высококачественной визуализации за счет использования множества маленьких гауссов, что приводит к значительному расходу памяти. Эта зависимость от большого количества гауссов ограничивает применение моделей на основе 3DGS на устройствах с ограниченной памятью из-за ограничений памяти. Однако простое сокращение количества гауссов для совместимости с устройствами с меньшим объемом памяти приводит к ухудшению качества по сравнению с качеством, которое можно достичь на высококлассном оборудовании. Для решения этой проблемы масштабируемости мы предлагаем интегрировать Гибкий Уровень Детализации (FLoD) в 3DGS, чтобы позволить сцене отображаться на разных уровнях детализации в соответствии с возможностями оборудования. В то время как существующие 3DGS с LoD сосредотачиваются на детальной реконструкции, наш метод обеспечивает реконструкции с использованием небольшого количества гауссов для снижения требований к памяти и большего количества гауссов для более детальной визуализации. Эксперименты демонстрируют наши различные варианты визуализации с компромиссами между качеством визуализации и использованием памяти, что позволяет реальное время визуализации при различных ограничениях памяти. Более того, мы показываем, что наш метод обобщается на различные фреймворки 3DGS, указывая на его потенциал для интеграции в будущие передовые разработки. Страница проекта: https://3dgs-flod.github.io/flod.github.io/

English

3D Gaussian Splatting (3DGS) achieves fast and high-quality renderings by using numerous small Gaussians, which leads to significant memory consumption. This reliance on a large number of Gaussians restricts the application of 3DGS-based models on low-cost devices due to memory limitations. However, simply reducing the number of Gaussians to accommodate devices with less memory capacity leads to inferior quality compared to the quality that can be achieved on high-end hardware. To address this lack of scalability, we propose integrating a Flexible Level of Detail (FLoD) to 3DGS, to allow a scene to be rendered at varying levels of detail according to hardware capabilities. While existing 3DGSs with LoD focus on detailed reconstruction, our method provides reconstructions using a small number of Gaussians for reduced memory requirements, and a larger number of Gaussians for greater detail. Experiments demonstrate our various rendering options with tradeoffs between rendering quality and memory usage, thereby allowing real-time rendering across different memory constraints. Furthermore, we show that our method generalizes to different 3DGS frameworks, indicating its potential for integration into future state-of-the-art developments. Project page: https://3dgs-flod.github.io/flod.github.io/