Éclatement convexe en 3D : Rendu de champ de radiance avec des convexes lisses en 3D

3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes

November 22, 2024

Auteurs: Jan Held, Renaud Vandeghen, Abdullah Hamdi, Adrien Deliege, Anthony Cioppa, Silvio Giancola, Andrea Vedaldi, Bernard Ghanem, Marc Van Droogenbroeck

cs.AI

Résumé

Les récents progrès dans la reconstruction de champs de luminance, tels que le Splatting Gaussien en 3D (3DGS), ont permis d'obtenir une synthèse de nouvelle vue de haute qualité et un rendu rapide en représentant les scènes avec des compositions de primitives gaussiennes. Cependant, les Gaussiennes en 3D présentent plusieurs limitations pour la reconstruction de scènes. Capturer précisément les arêtes vives est difficile sans augmenter significativement le nombre de Gaussiennes, ce qui crée une empreinte mémoire importante. De plus, elles ont du mal à représenter les surfaces planes, car elles se diffusent dans l'espace. Sans régularisateurs faits à la main, elles ont tendance à se disperser de manière irrégulière autour de la surface réelle. Pour contourner ces problèmes, nous introduisons une nouvelle méthode, nommée Splatting Convexe en 3D (3DCS), qui exploite des convexes lisses en 3D comme primitives pour modéliser des champs de luminance géométriquement significatifs à partir d'images multi-vues. Les formes convexes lisses offrent une plus grande flexibilité que les Gaussiennes, permettant une meilleure représentation de scènes en 3D avec des arêtes vives et des volumes denses en utilisant moins de primitives. Alimenté par notre rasterizer efficace basé sur CUDA, 3DCS obtient des performances supérieures à 3DGS sur des benchmarks tels que Mip-NeRF360, Tanks and Temples, et Deep Blending. Plus précisément, notre méthode atteint une amélioration allant jusqu'à 0,81 en PSNR et 0,026 en LPIPS par rapport à 3DGS tout en maintenant des vitesses de rendu élevées et en réduisant le nombre de primitives requis. Nos résultats mettent en évidence le potentiel du Splatting Convexe en 3D pour devenir la nouvelle norme en matière de reconstruction de scènes de haute qualité et de synthèse de nouvelle vue. Page du projet : convexsplatting.github.io.

English

Recent advances in radiance field reconstruction, such as 3D Gaussian Splatting (3DGS), have achieved high-quality novel view synthesis and fast rendering by representing scenes with compositions of Gaussian primitives. However, 3D Gaussians present several limitations for scene reconstruction. Accurately capturing hard edges is challenging without significantly increasing the number of Gaussians, creating a large memory footprint. Moreover, they struggle to represent flat surfaces, as they are diffused in space. Without hand-crafted regularizers, they tend to disperse irregularly around the actual surface. To circumvent these issues, we introduce a novel method, named 3D Convex Splatting (3DCS), which leverages 3D smooth convexes as primitives for modeling geometrically-meaningful radiance fields from multi-view images. Smooth convex shapes offer greater flexibility than Gaussians, allowing for a better representation of 3D scenes with hard edges and dense volumes using fewer primitives. Powered by our efficient CUDA-based rasterizer, 3DCS achieves superior performance over 3DGS on benchmarks such as Mip-NeRF360, Tanks and Temples, and Deep Blending. Specifically, our method attains an improvement of up to 0.81 in PSNR and 0.026 in LPIPS compared to 3DGS while maintaining high rendering speeds and reducing the number of required primitives. Our results highlight the potential of 3D Convex Splatting to become the new standard for high-quality scene reconstruction and novel view synthesis. Project page: convexsplatting.github.io.