Splatting Convexo 3D: Renderização de Campo de Radiância com Convexos 3D Suaves

3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes

November 22, 2024

Autores: Jan Held, Renaud Vandeghen, Abdullah Hamdi, Adrien Deliege, Anthony Cioppa, Silvio Giancola, Andrea Vedaldi, Bernard Ghanem, Marc Van Droogenbroeck

cs.AI

Resumo

Avanços recentes na reconstrução de campos de radiância, como o Splatting Gaussiano 3D (3DGS), têm alcançado síntese de novas visualizações de alta qualidade e renderização rápida ao representar cenas com composições de primitivas Gaussianas. No entanto, os Gaussianos 3D apresentam várias limitações para a reconstrução de cenas. Capturar com precisão bordas rígidas é desafiador sem aumentar significativamente o número de Gaussians, o que cria uma grande pegada de memória. Além disso, eles têm dificuldade em representar superfícies planas, pois são difundidos no espaço. Sem regularizadores feitos à mão, eles tendem a se dispersar irregularmente ao redor da superfície real. Para contornar esses problemas, introduzimos um novo método, chamado Splatting Convexo 3D (3DCS), que utiliza convexos suaves 3D como primitivas para modelar campos de radiância geometricamente significativos a partir de imagens de múltiplas visualizações. Formas convexas suaves oferecem maior flexibilidade do que os Gaussians, permitindo uma melhor representação de cenas 3D com bordas rígidas e volumes densos usando menos primitivas. Impulsionado pelo nosso rasterizador eficiente baseado em CUDA, o 3DCS alcança desempenho superior ao 3DGS em benchmarks como Mip-NeRF360, Tanks and Temples e Deep Blending. Especificamente, nosso método alcança uma melhoria de até 0,81 em PSNR e 0,026 em LPIPS em comparação com o 3DGS, mantendo altas velocidades de renderização e reduzindo o número de primitivas necessárias. Nossos resultados destacam o potencial do Splatting Convexo 3D para se tornar o novo padrão para reconstrução de cenas de alta qualidade e síntese de novas visualizações. Página do projeto: convexsplatting.github.io.

English

Recent advances in radiance field reconstruction, such as 3D Gaussian Splatting (3DGS), have achieved high-quality novel view synthesis and fast rendering by representing scenes with compositions of Gaussian primitives. However, 3D Gaussians present several limitations for scene reconstruction. Accurately capturing hard edges is challenging without significantly increasing the number of Gaussians, creating a large memory footprint. Moreover, they struggle to represent flat surfaces, as they are diffused in space. Without hand-crafted regularizers, they tend to disperse irregularly around the actual surface. To circumvent these issues, we introduce a novel method, named 3D Convex Splatting (3DCS), which leverages 3D smooth convexes as primitives for modeling geometrically-meaningful radiance fields from multi-view images. Smooth convex shapes offer greater flexibility than Gaussians, allowing for a better representation of 3D scenes with hard edges and dense volumes using fewer primitives. Powered by our efficient CUDA-based rasterizer, 3DCS achieves superior performance over 3DGS on benchmarks such as Mip-NeRF360, Tanks and Temples, and Deep Blending. Specifically, our method attains an improvement of up to 0.81 in PSNR and 0.026 in LPIPS compared to 3DGS while maintaining high rendering speeds and reducing the number of required primitives. Our results highlight the potential of 3D Convex Splatting to become the new standard for high-quality scene reconstruction and novel view synthesis. Project page: convexsplatting.github.io.