Splatting Convexo en 3D: Renderizado de Campos de Radiación con Convexos Suaves en 3D

3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes

November 22, 2024

Autores: Jan Held, Renaud Vandeghen, Abdullah Hamdi, Adrien Deliege, Anthony Cioppa, Silvio Giancola, Andrea Vedaldi, Bernard Ghanem, Marc Van Droogenbroeck

cs.AI

Resumen

Los avances recientes en la reconstrucción de campos de radiación, como el Splatting Gaussiano 3D (3DGS), han logrado una síntesis de vistas novedosas de alta calidad y renderizado rápido al representar escenas con composiciones de primitivas gaussianas. Sin embargo, los Gaussians 3D presentan varias limitaciones para la reconstrucción de escenas. Capturar con precisión bordes duros es desafiante sin aumentar significativamente el número de Gaussians, lo que crea una gran huella de memoria. Además, tienen dificultades para representar superficies planas, ya que se difuminan en el espacio. Sin regularizadores hechos a mano, tienden a dispersarse de manera irregular alrededor de la superficie real. Para superar estos problemas, presentamos un método novedoso, llamado Splatting Convexo 3D (3DCS), que aprovecha convexos suaves en 3D como primitivas para modelar campos de radiación geométricamente significativos a partir de imágenes de múltiples vistas. Las formas convexas suaves ofrecen una mayor flexibilidad que los Gaussians, lo que permite una mejor representación de escenas en 3D con bordes duros y volúmenes densos utilizando menos primitivas. Impulsado por nuestro eficiente rasterizador basado en CUDA, 3DCS logra un rendimiento superior a 3DGS en benchmarks como Mip-NeRF360, Tanks and Temples y Deep Blending. Específicamente, nuestro método alcanza una mejora de hasta 0.81 en PSNR y 0.026 en LPIPS en comparación con 3DGS, manteniendo altas velocidades de renderizado y reduciendo el número de primitivas requeridas. Nuestros resultados resaltan el potencial del Splatting Convexo 3D para convertirse en el nuevo estándar para la reconstrucción de escenas de alta calidad y la síntesis de vistas novedosas. Página del proyecto: convexsplatting.github.io.

English

Recent advances in radiance field reconstruction, such as 3D Gaussian Splatting (3DGS), have achieved high-quality novel view synthesis and fast rendering by representing scenes with compositions of Gaussian primitives. However, 3D Gaussians present several limitations for scene reconstruction. Accurately capturing hard edges is challenging without significantly increasing the number of Gaussians, creating a large memory footprint. Moreover, they struggle to represent flat surfaces, as they are diffused in space. Without hand-crafted regularizers, they tend to disperse irregularly around the actual surface. To circumvent these issues, we introduce a novel method, named 3D Convex Splatting (3DCS), which leverages 3D smooth convexes as primitives for modeling geometrically-meaningful radiance fields from multi-view images. Smooth convex shapes offer greater flexibility than Gaussians, allowing for a better representation of 3D scenes with hard edges and dense volumes using fewer primitives. Powered by our efficient CUDA-based rasterizer, 3DCS achieves superior performance over 3DGS on benchmarks such as Mip-NeRF360, Tanks and Temples, and Deep Blending. Specifically, our method attains an improvement of up to 0.81 in PSNR and 0.026 in LPIPS compared to 3DGS while maintaining high rendering speeds and reducing the number of required primitives. Our results highlight the potential of 3D Convex Splatting to become the new standard for high-quality scene reconstruction and novel view synthesis. Project page: convexsplatting.github.io.