3D Konvexes Splatting: Strahlungsfeld-Rendering mit 3D-glättenden Konvexen

3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes

November 22, 2024

Autoren: Jan Held, Renaud Vandeghen, Abdullah Hamdi, Adrien Deliege, Anthony Cioppa, Silvio Giancola, Andrea Vedaldi, Bernard Ghanem, Marc Van Droogenbroeck

cs.AI

Zusammenfassung

In jüngster Zeit erzielten Fortschritte bei der Rekonstruktion von Strahlungsfeldern, wie z.B. 3D-Gauß-Splatting (3DGS), hochwertige Neuansichtssynthese und schnelles Rendern, indem Szenen mit Zusammensetzungen von Gauß'schen Primitiven dargestellt werden. Allerdings weisen 3D-Gauß'sche Funktionen mehrere Einschränkungen für die Szenenrekonstruktion auf. Das genaue Erfassen harter Kanten ist herausfordernd, ohne die Anzahl der Gauß'schen Funktionen signifikant zu erhöhen, was zu einem großen Speicherbedarf führt. Zudem haben sie Schwierigkeiten, flache Oberflächen darzustellen, da sie im Raum diffundieren. Ohne handgefertigte Regularisierer neigen sie dazu, unregelmäßig um die tatsächliche Oberfläche herum zu zerstreuen. Um diese Probleme zu umgehen, stellen wir eine neue Methode namens 3D-Konvex-Splatting (3DCS) vor, die 3D-glatte Konvexe als Primitive nutzt, um geometrisch sinnvolle Strahlungsfelder aus Multi-View-Bildern zu modellieren. Glatte konvexe Formen bieten eine größere Flexibilität als Gauß'sche Funktionen und ermöglichen eine bessere Darstellung von 3D-Szenen mit harten Kanten und dichten Volumina unter Verwendung weniger Primitive. Unterstützt durch unseren effizienten CUDA-basierten Rasterizer erzielt 3DCS eine überlegene Leistung gegenüber 3DGS in Benchmarks wie Mip-NeRF360, Tanks and Temples und Deep Blending. Speziell erreicht unsere Methode eine Verbesserung von bis zu 0,81 im PSNR und 0,026 im LPIPS im Vergleich zu 3DGS, während sie hohe Rendegeschwindigkeiten beibehält und die Anzahl der benötigten Primitive reduziert. Unsere Ergebnisse unterstreichen das Potenzial von 3D-Konvex-Splatting, zum neuen Standard für hochwertige Szenenrekonstruktion und Neuansichtssynthese zu werden. Projektseite: convexsplatting.github.io.

English

Recent advances in radiance field reconstruction, such as 3D Gaussian Splatting (3DGS), have achieved high-quality novel view synthesis and fast rendering by representing scenes with compositions of Gaussian primitives. However, 3D Gaussians present several limitations for scene reconstruction. Accurately capturing hard edges is challenging without significantly increasing the number of Gaussians, creating a large memory footprint. Moreover, they struggle to represent flat surfaces, as they are diffused in space. Without hand-crafted regularizers, they tend to disperse irregularly around the actual surface. To circumvent these issues, we introduce a novel method, named 3D Convex Splatting (3DCS), which leverages 3D smooth convexes as primitives for modeling geometrically-meaningful radiance fields from multi-view images. Smooth convex shapes offer greater flexibility than Gaussians, allowing for a better representation of 3D scenes with hard edges and dense volumes using fewer primitives. Powered by our efficient CUDA-based rasterizer, 3DCS achieves superior performance over 3DGS on benchmarks such as Mip-NeRF360, Tanks and Temples, and Deep Blending. Specifically, our method attains an improvement of up to 0.81 in PSNR and 0.026 in LPIPS compared to 3DGS while maintaining high rendering speeds and reducing the number of required primitives. Our results highlight the potential of 3D Convex Splatting to become the new standard for high-quality scene reconstruction and novel view synthesis. Project page: convexsplatting.github.io.