3D Convex Splatting: Stralingsveldweergave met 3D Gladde Convexe vormen

3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes

November 22, 2024

Auteurs: Jan Held, Renaud Vandeghen, Abdullah Hamdi, Adrien Deliege, Anthony Cioppa, Silvio Giancola, Andrea Vedaldi, Bernard Ghanem, Marc Van Droogenbroeck

cs.AI

Samenvatting

Recente ontwikkelingen in de reconstructie van stralingsvelden, zoals 3D Gaussisch Splatting (3DGS), hebben hoogwaardige synthese van nieuwe weergaven en snelle rendering bereikt door scènes voor te stellen met samenstellingen van Gaussische primitieven. Echter, 3D Gaussiërs vertonen verschillende beperkingen voor scène reconstructie. Het nauwkeurig vastleggen van harde randen is uitdagend zonder het aantal Gaussiërs aanzienlijk te verhogen, wat resulteert in een grote geheugenfootprint. Bovendien hebben ze moeite met het representeren van vlakke oppervlakken, omdat ze verspreid zijn in de ruimte. Zonder handmatig ontworpen regularisatoren hebben ze de neiging onregelmatig rond het werkelijke oppervlak te verspreiden. Om deze problemen te omzeilen, introduceren we een nieuwe methode, genaamd 3D Convex Splatting (3DCS), die 3D gladde convexe vormen benut als primitieven voor het modelleren van geometrisch-betekenisvolle stralingsvelden vanuit multi-view beelden. Gladde convexe vormen bieden meer flexibiliteit dan Gaussiërs, waardoor een betere representatie van 3D scènes met harde randen en dichte volumes mogelijk is met minder primitieven. Aangedreven door onze efficiënte op CUDA gebaseerde rasterizer, behaalt 3DCS superieure prestaties ten opzichte van 3DGS op benchmarks zoals Mip-NeRF360, Tanks and Temples, en Deep Blending. Specifiek behaalt onze methode een verbetering tot 0.81 in PSNR en 0.026 in LPIPS vergeleken met 3DGS, terwijl hoge renderingsnelheden worden behouden en het aantal benodigde primitieven wordt verminderd. Onze resultaten benadrukken het potentieel van 3D Convex Splatting om de nieuwe standaard te worden voor hoogwaardige scène reconstructie en synthese van nieuwe weergaven. Projectpagina: convexsplatting.github.io.

English

Recent advances in radiance field reconstruction, such as 3D Gaussian Splatting (3DGS), have achieved high-quality novel view synthesis and fast rendering by representing scenes with compositions of Gaussian primitives. However, 3D Gaussians present several limitations for scene reconstruction. Accurately capturing hard edges is challenging without significantly increasing the number of Gaussians, creating a large memory footprint. Moreover, they struggle to represent flat surfaces, as they are diffused in space. Without hand-crafted regularizers, they tend to disperse irregularly around the actual surface. To circumvent these issues, we introduce a novel method, named 3D Convex Splatting (3DCS), which leverages 3D smooth convexes as primitives for modeling geometrically-meaningful radiance fields from multi-view images. Smooth convex shapes offer greater flexibility than Gaussians, allowing for a better representation of 3D scenes with hard edges and dense volumes using fewer primitives. Powered by our efficient CUDA-based rasterizer, 3DCS achieves superior performance over 3DGS on benchmarks such as Mip-NeRF360, Tanks and Temples, and Deep Blending. Specifically, our method attains an improvement of up to 0.81 in PSNR and 0.026 in LPIPS compared to 3DGS while maintaining high rendering speeds and reducing the number of required primitives. Our results highlight the potential of 3D Convex Splatting to become the new standard for high-quality scene reconstruction and novel view synthesis. Project page: convexsplatting.github.io.