GENIE : Encodage Gaussien pour l'Édition Interactive des Champs de Radiance Neuronaux

GENIE: Gaussian Encoding for Neural Radiance Fields Interactive Editing

August 4, 2025

papers.authors: Mikołaj Zieliński, Krzysztof Byrski, Tomasz Szczepanik, Przemysław Spurek

cs.AI

papers.abstract

Les champs de radiance neuronaux (NeRF) et le lissage gaussien (GS) ont récemment révolutionné la représentation et le rendu de scènes 3D. NeRF permet une synthèse de vues nouvelles de haute fidélité en apprenant des représentations volumétriques via des réseaux de neurones, mais son encodage implicite rend l'édition et l'interaction physique difficiles. En revanche, GS représente les scènes comme des collections explicites de primitives gaussiennes, permettant un rendu en temps réel, un apprentissage plus rapide et une manipulation plus intuitive. Cette structure explicite a rendu GS particulièrement adapté à l'édition interactive et à l'intégration avec des simulations physiques. Dans cet article, nous présentons GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), un modèle hybride qui combine la qualité de rendu photoréaliste de NeRF avec la représentation éditable et structurée de GS. Au lieu d'utiliser des harmoniques sphériques pour la modélisation de l'apparence, nous assignons à chaque primitive gaussienne un embedding de caractéristiques entraînable. Ces embeddings sont utilisés pour conditionner un réseau NeRF en fonction des k primitives gaussiennes les plus proches de chaque point de requête. Pour rendre ce conditionnement efficace, nous introduisons la recherche de proximité gaussienne par lancer de rayons (RT-GPS), une recherche rapide des primitives gaussiennes les plus proches basée sur un pipeline de lancer de rayons modifié. Nous intégrons également une grille de hachage multi-résolution pour initialiser et mettre à jour les caractéristiques gaussiennes. Ensemble, ces composants permettent une édition en temps réel et sensible à la localité : lorsque les primitives gaussiennes sont repositionnées ou modifiées, leur influence interpolée est immédiatement reflétée dans le rendu. En combinant les forces des représentations implicites et explicites, GENIE supporte une manipulation intuitive de scènes, une interaction dynamique et une compatibilité avec la simulation physique, comblant ainsi le fossé entre l'édition basée sur la géométrie et le rendu neuronal. Le code est disponible à l'adresse suivante : (https://github.com/MikolajZielinski/genie).

English

Neural Radiance Fields (NeRF) and Gaussian Splatting (GS) have recently transformed 3D scene representation and rendering. NeRF achieves high-fidelity novel view synthesis by learning volumetric representations through neural networks, but its implicit encoding makes editing and physical interaction challenging. In contrast, GS represents scenes as explicit collections of Gaussian primitives, enabling real-time rendering, faster training, and more intuitive manipulation. This explicit structure has made GS particularly well-suited for interactive editing and integration with physics-based simulation. In this paper, we introduce GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), a hybrid model that combines the photorealistic rendering quality of NeRF with the editable and structured representation of GS. Instead of using spherical harmonics for appearance modeling, we assign each Gaussian a trainable feature embedding. These embeddings are used to condition a NeRF network based on the k nearest Gaussians to each query point. To make this conditioning efficient, we introduce Ray-Traced Gaussian Proximity Search (RT-GPS), a fast nearest Gaussian search based on a modified ray-tracing pipeline. We also integrate a multi-resolution hash grid to initialize and update Gaussian features. Together, these components enable real-time, locality-aware editing: as Gaussian primitives are repositioned or modified, their interpolated influence is immediately reflected in the rendered output. By combining the strengths of implicit and explicit representations, GENIE supports intuitive scene manipulation, dynamic interaction, and compatibility with physical simulation, bridging the gap between geometry-based editing and neural rendering. The code can be found under (https://github.com/MikolajZielinski/genie)