GENIE: Gaußsche Kodierung für interaktive Bearbeitung von Neural Radiance Fields

GENIE: Gaussian Encoding for Neural Radiance Fields Interactive Editing

August 4, 2025

papers.authors: Mikołaj Zieliński, Krzysztof Byrski, Tomasz Szczepanik, Przemysław Spurek

cs.AI

papers.abstract

Neural Radiance Fields (NeRF) und Gaussian Splatting (GS) haben kürzlich die 3D-Szenendarstellung und -Rendering revolutioniert. NeRF erreicht eine hochauflösende Synthese neuer Ansichten durch das Erlernen volumetrischer Darstellungen mittels neuronaler Netzwerke, doch seine implizite Kodierung erschwert die Bearbeitung und physikalische Interaktion. Im Gegensatz dazu repräsentiert GS Szenen als explizite Sammlungen von Gaußschen Primitiven, was Echtzeit-Rendering, schnellere Trainingszeiten und intuitivere Manipulation ermöglicht. Diese explizite Struktur macht GS besonders geeignet für interaktive Bearbeitung und Integration mit physikbasierter Simulation. In diesem Artikel stellen wir GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing) vor, ein hybrides Modell, das die fotorealistische Rendering-Qualität von NeRF mit der bearbeitbaren und strukturierten Darstellung von GS kombiniert. Anstelle von sphärischen Harmoniken zur Erscheinungsmodellierung weisen wir jedem Gaußschen Primitiv ein trainierbares Feature-Embedding zu. Diese Embeddings werden verwendet, um ein NeRF-Netzwerk basierend auf den k nächsten Gaußschen zu jedem Abfragepunkt zu konditionieren. Um diese Konditionierung effizient zu gestalten, führen wir Ray-Traced Gaussian Proximity Search (RT-GPS) ein, eine schnelle Suche nach den nächsten Gaußschen basierend auf einer modifizierten Ray-Tracing-Pipeline. Zudem integrieren wir ein Multi-Resolution-Hash-Grid, um Gaußsche Features zu initialisieren und zu aktualisieren. Zusammen ermöglichen diese Komponenten eine Echtzeit-Bearbeitung mit Lokalitätsbewusstsein: Wenn Gaußsche Primitiven neu positioniert oder modifiziert werden, spiegelt sich ihr interpoliertes Einflussgebiet unmittelbar im gerenderten Ergebnis wider. Durch die Kombination der Stärken impliziter und expliziter Darstellungen unterstützt GENIE intuitive Szenenmanipulation, dynamische Interaktion und Kompatibilität mit physikalischer Simulation und schließt so die Lücke zwischen geometriebasierter Bearbeitung und neuronalem Rendering. Der Code ist unter (https://github.com/MikolajZielinski/genie) verfügbar.

English

Neural Radiance Fields (NeRF) and Gaussian Splatting (GS) have recently transformed 3D scene representation and rendering. NeRF achieves high-fidelity novel view synthesis by learning volumetric representations through neural networks, but its implicit encoding makes editing and physical interaction challenging. In contrast, GS represents scenes as explicit collections of Gaussian primitives, enabling real-time rendering, faster training, and more intuitive manipulation. This explicit structure has made GS particularly well-suited for interactive editing and integration with physics-based simulation. In this paper, we introduce GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), a hybrid model that combines the photorealistic rendering quality of NeRF with the editable and structured representation of GS. Instead of using spherical harmonics for appearance modeling, we assign each Gaussian a trainable feature embedding. These embeddings are used to condition a NeRF network based on the k nearest Gaussians to each query point. To make this conditioning efficient, we introduce Ray-Traced Gaussian Proximity Search (RT-GPS), a fast nearest Gaussian search based on a modified ray-tracing pipeline. We also integrate a multi-resolution hash grid to initialize and update Gaussian features. Together, these components enable real-time, locality-aware editing: as Gaussian primitives are repositioned or modified, their interpolated influence is immediately reflected in the rendered output. By combining the strengths of implicit and explicit representations, GENIE supports intuitive scene manipulation, dynamic interaction, and compatibility with physical simulation, bridging the gap between geometry-based editing and neural rendering. The code can be found under (https://github.com/MikolajZielinski/genie)