GENIE: Gaussiaanse Codering voor Interactieve Bewerking van Neural Radiance Fields

GENIE: Gaussian Encoding for Neural Radiance Fields Interactive Editing

August 4, 2025

Auteurs: Mikołaj Zieliński, Krzysztof Byrski, Tomasz Szczepanik, Przemysław Spurek

cs.AI

Samenvatting

Neural Radiance Fields (NeRF) en Gaussian Splatting (GS) hebben recentelijk een revolutie teweeggebracht in 3D-scèneweergave en -rendering. NeRF bereikt hoogwaardige synthese van nieuwe gezichtspunten door volumetrische representaties te leren via neurale netwerken, maar de impliciete codering maakt bewerken en fysieke interactie uitdagend. Daarentegen representeert GS scènes als expliciete verzamelingen van Gaussische primitieven, wat real-time rendering, snellere training en intuïtievere manipulatie mogelijk maakt. Deze expliciete structuur heeft GS bijzonder geschikt gemaakt voor interactief bewerken en integratie met op fysica gebaseerde simulatie. In dit artikel introduceren we GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), een hybride model dat de fotorealistische renderkwaliteit van NeRF combineert met de bewerkbare en gestructureerde representatie van GS. In plaats van sferische harmonischen te gebruiken voor uiterlijkmodellering, kennen we elke Gaussische primitief een trainbare feature-embedding toe. Deze embeddings worden gebruikt om een NeRF-netwerk te conditioneren op basis van de k dichtstbijzijnde Gaussische primitieven voor elk querypunt. Om deze conditionering efficiënt te maken, introduceren we Ray-Traced Gaussian Proximity Search (RT-GPS), een snelle zoekmethode naar de dichtstbijzijnde Gaussische primitieven gebaseerd op een aangepaste ray-tracing-pipeline. We integreren ook een multi-resolutie hash-grid om Gaussische features te initialiseren en bij te werken. Samen maken deze componenten real-time, locatiebewust bewerken mogelijk: wanneer Gaussische primitieven worden verplaatst of aangepast, wordt hun geïnterpoleerde invloed direct weerspiegeld in de gerenderde output. Door de sterke punten van impliciete en expliciete representaties te combineren, ondersteunt GENIE intuïtieve scènemanipulatie, dynamische interactie en compatibiliteit met fysieke simulatie, waardoor de kloof tussen geometrisch gebaseerd bewerken en neurale rendering wordt overbrugd. De code is te vinden op (https://github.com/MikolajZielinski/genie).

English

Neural Radiance Fields (NeRF) and Gaussian Splatting (GS) have recently transformed 3D scene representation and rendering. NeRF achieves high-fidelity novel view synthesis by learning volumetric representations through neural networks, but its implicit encoding makes editing and physical interaction challenging. In contrast, GS represents scenes as explicit collections of Gaussian primitives, enabling real-time rendering, faster training, and more intuitive manipulation. This explicit structure has made GS particularly well-suited for interactive editing and integration with physics-based simulation. In this paper, we introduce GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), a hybrid model that combines the photorealistic rendering quality of NeRF with the editable and structured representation of GS. Instead of using spherical harmonics for appearance modeling, we assign each Gaussian a trainable feature embedding. These embeddings are used to condition a NeRF network based on the k nearest Gaussians to each query point. To make this conditioning efficient, we introduce Ray-Traced Gaussian Proximity Search (RT-GPS), a fast nearest Gaussian search based on a modified ray-tracing pipeline. We also integrate a multi-resolution hash grid to initialize and update Gaussian features. Together, these components enable real-time, locality-aware editing: as Gaussian primitives are repositioned or modified, their interpolated influence is immediately reflected in the rendered output. By combining the strengths of implicit and explicit representations, GENIE supports intuitive scene manipulation, dynamic interaction, and compatibility with physical simulation, bridging the gap between geometry-based editing and neural rendering. The code can be found under (https://github.com/MikolajZielinski/genie)