GENIE: Codifica Gaussiana per l'Editing Interattivo dei Campi di Radianza Neurale

GENIE: Gaussian Encoding for Neural Radiance Fields Interactive Editing

August 4, 2025

Autori: Mikołaj Zieliński, Krzysztof Byrski, Tomasz Szczepanik, Przemysław Spurek

cs.AI

Abstract

I Neural Radiance Fields (NeRF) e il Gaussian Splatting (GS) hanno recentemente rivoluzionato la rappresentazione e il rendering di scene 3D. NeRF ottiene una sintesi di nuove viste ad alta fedeltà apprendendo rappresentazioni volumetriche attraverso reti neurali, ma la sua codifica implicita rende complessa la modifica e l'interazione fisica. Al contrario, GS rappresenta le scene come collezioni esplicite di primitive gaussiane, consentendo rendering in tempo reale, addestramento più rapido e manipolazione più intuitiva. Questa struttura esplicita ha reso GS particolarmente adatto per l'editing interattivo e l'integrazione con simulazioni basate sulla fisica. In questo articolo, introduciamo GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), un modello ibrido che combina la qualità fotorealistica del rendering di NeRF con la rappresentazione modificabile e strutturata di GS. Invece di utilizzare armoniche sferiche per la modellazione dell'aspetto, assegniamo a ciascuna gaussiana un embedding di caratteristiche addestrabile. Questi embedding vengono utilizzati per condizionare una rete NeRF basata sulle k gaussiane più vicine a ciascun punto di query. Per rendere efficiente questo condizionamento, introduciamo il Ray-Traced Gaussian Proximity Search (RT-GPS), una ricerca veloce delle gaussiane più vicine basata su una pipeline di ray-tracing modificata. Integriamo inoltre una griglia hash multi-risoluzione per inizializzare e aggiornare le caratteristiche delle gaussiane. Insieme, questi componenti abilitano un editing in tempo reale e consapevole della località: man mano che le primitive gaussiane vengono riposizionate o modificate, la loro influenza interpolata si riflette immediatamente nell'output renderizzato. Combinando i punti di forza delle rappresentazioni implicite ed esplicite, GENIE supporta la manipolazione intuitiva delle scene, l'interazione dinamica e la compatibilità con la simulazione fisica, colmando il divario tra l'editing basato sulla geometria e il rendering neurale. Il codice è disponibile su (https://github.com/MikolajZielinski/genie).

English

Neural Radiance Fields (NeRF) and Gaussian Splatting (GS) have recently transformed 3D scene representation and rendering. NeRF achieves high-fidelity novel view synthesis by learning volumetric representations through neural networks, but its implicit encoding makes editing and physical interaction challenging. In contrast, GS represents scenes as explicit collections of Gaussian primitives, enabling real-time rendering, faster training, and more intuitive manipulation. This explicit structure has made GS particularly well-suited for interactive editing and integration with physics-based simulation. In this paper, we introduce GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), a hybrid model that combines the photorealistic rendering quality of NeRF with the editable and structured representation of GS. Instead of using spherical harmonics for appearance modeling, we assign each Gaussian a trainable feature embedding. These embeddings are used to condition a NeRF network based on the k nearest Gaussians to each query point. To make this conditioning efficient, we introduce Ray-Traced Gaussian Proximity Search (RT-GPS), a fast nearest Gaussian search based on a modified ray-tracing pipeline. We also integrate a multi-resolution hash grid to initialize and update Gaussian features. Together, these components enable real-time, locality-aware editing: as Gaussian primitives are repositioned or modified, their interpolated influence is immediately reflected in the rendered output. By combining the strengths of implicit and explicit representations, GENIE supports intuitive scene manipulation, dynamic interaction, and compatibility with physical simulation, bridging the gap between geometry-based editing and neural rendering. The code can be found under (https://github.com/MikolajZielinski/genie)