GENIE: Codificación Gaussiana para la Edición Interactiva de Campos de Radiancia Neural

GENIE: Gaussian Encoding for Neural Radiance Fields Interactive Editing

August 4, 2025

Autores: Mikołaj Zieliński, Krzysztof Byrski, Tomasz Szczepanik, Przemysław Spurek

cs.AI

Resumen

Los Campos de Radiancia Neural (NeRF) y el Gaussian Splatting (GS) han transformado recientemente la representación y renderizado de escenas 3D. NeRF logra una síntesis de nuevas vistas de alta fidelidad al aprender representaciones volumétricas mediante redes neuronales, pero su codificación implícita dificulta la edición y la interacción física. En contraste, GS representa las escenas como colecciones explícitas de primitivas gaussianas, permitiendo renderizado en tiempo real, entrenamiento más rápido y manipulación más intuitiva. Esta estructura explícita ha hecho que GS sea particularmente adecuado para la edición interactiva y la integración con simulaciones basadas en física. En este artículo, presentamos GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), un modelo híbrido que combina la calidad de renderizado fotorrealista de NeRF con la representación editable y estructurada de GS. En lugar de usar armónicos esféricos para el modelado de apariencia, asignamos a cada gaussiana un embedding de características entrenable. Estos embeddings se utilizan para condicionar una red NeRF basada en las k gaussianas más cercanas a cada punto de consulta. Para hacer este condicionamiento eficiente, introducimos la Búsqueda de Proximidad Gaussiana con Trazado de Rayos (RT-GPS), una búsqueda rápida de gaussianas más cercanas basada en una tubería de trazado de rayos modificada. También integramos una cuadrícula de hash multi-resolución para inicializar y actualizar las características gaussianas. Juntos, estos componentes permiten la edición en tiempo real y consciente de la localidad: a medida que las primitivas gaussianas se reposicionan o modifican, su influencia interpolada se refleja inmediatamente en la salida renderizada. Al combinar las fortalezas de las representaciones implícitas y explícitas, GENIE soporta manipulación intuitiva de escenas, interacción dinámica y compatibilidad con simulación física, cerrando la brecha entre la edición basada en geometría y el renderizado neural. El código se puede encontrar en (https://github.com/MikolajZielinski/genie).

English

Neural Radiance Fields (NeRF) and Gaussian Splatting (GS) have recently transformed 3D scene representation and rendering. NeRF achieves high-fidelity novel view synthesis by learning volumetric representations through neural networks, but its implicit encoding makes editing and physical interaction challenging. In contrast, GS represents scenes as explicit collections of Gaussian primitives, enabling real-time rendering, faster training, and more intuitive manipulation. This explicit structure has made GS particularly well-suited for interactive editing and integration with physics-based simulation. In this paper, we introduce GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), a hybrid model that combines the photorealistic rendering quality of NeRF with the editable and structured representation of GS. Instead of using spherical harmonics for appearance modeling, we assign each Gaussian a trainable feature embedding. These embeddings are used to condition a NeRF network based on the k nearest Gaussians to each query point. To make this conditioning efficient, we introduce Ray-Traced Gaussian Proximity Search (RT-GPS), a fast nearest Gaussian search based on a modified ray-tracing pipeline. We also integrate a multi-resolution hash grid to initialize and update Gaussian features. Together, these components enable real-time, locality-aware editing: as Gaussian primitives are repositioned or modified, their interpolated influence is immediately reflected in the rendered output. By combining the strengths of implicit and explicit representations, GENIE supports intuitive scene manipulation, dynamic interaction, and compatibility with physical simulation, bridging the gap between geometry-based editing and neural rendering. The code can be found under (https://github.com/MikolajZielinski/genie)