GENIE: Codificação Gaussiana para Edição Interativa de Campos de Radiação Neural

GENIE: Gaussian Encoding for Neural Radiance Fields Interactive Editing

August 4, 2025

Autores: Mikołaj Zieliński, Krzysztof Byrski, Tomasz Szczepanik, Przemysław Spurek

cs.AI

Resumo

Neural Radiance Fields (NeRF) e Gaussian Splatting (GS) transformaram recentemente a representação e renderização de cenas 3D. O NeRF alcança síntese de novas vistas de alta fidelidade ao aprender representações volumétricas por meio de redes neurais, mas sua codificação implícita torna a edição e a interação física desafiadoras. Em contraste, o GS representa cenas como coleções explícitas de primitivas Gaussianas, permitindo renderização em tempo real, treinamento mais rápido e manipulação mais intuitiva. Essa estrutura explícita tornou o GS particularmente adequado para edição interativa e integração com simulações baseadas em física. Neste artigo, apresentamos o GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), um modelo híbrido que combina a qualidade de renderização fotorrealista do NeRF com a representação editável e estruturada do GS. Em vez de usar harmônicos esféricos para modelagem de aparência, atribuímos a cada Gaussiana um embedding de características treinável. Esses embeddings são usados para condicionar uma rede NeRF com base nas k Gaussianas mais próximas de cada ponto de consulta. Para tornar esse condicionamento eficiente, introduzimos o Ray-Traced Gaussian Proximity Search (RT-GPS), uma busca rápida pela Gaussiana mais próxima baseada em um pipeline de ray tracing modificado. Também integramos uma grade de hash multi-resolução para inicializar e atualizar as características Gaussianas. Juntos, esses componentes permitem edição em tempo real com consciência de localidade: à medida que as primitivas Gaussianas são reposicionadas ou modificadas, sua influência interpolada é imediatamente refletida na saída renderizada. Ao combinar as forças das representações implícitas e explícitas, o GENIE suporta manipulação intuitiva de cenas, interação dinâmica e compatibilidade com simulação física, preenchendo a lacuna entre edição baseada em geometria e renderização neural. O código pode ser encontrado em (https://github.com/MikolajZielinski/genie).

English

Neural Radiance Fields (NeRF) and Gaussian Splatting (GS) have recently transformed 3D scene representation and rendering. NeRF achieves high-fidelity novel view synthesis by learning volumetric representations through neural networks, but its implicit encoding makes editing and physical interaction challenging. In contrast, GS represents scenes as explicit collections of Gaussian primitives, enabling real-time rendering, faster training, and more intuitive manipulation. This explicit structure has made GS particularly well-suited for interactive editing and integration with physics-based simulation. In this paper, we introduce GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), a hybrid model that combines the photorealistic rendering quality of NeRF with the editable and structured representation of GS. Instead of using spherical harmonics for appearance modeling, we assign each Gaussian a trainable feature embedding. These embeddings are used to condition a NeRF network based on the k nearest Gaussians to each query point. To make this conditioning efficient, we introduce Ray-Traced Gaussian Proximity Search (RT-GPS), a fast nearest Gaussian search based on a modified ray-tracing pipeline. We also integrate a multi-resolution hash grid to initialize and update Gaussian features. Together, these components enable real-time, locality-aware editing: as Gaussian primitives are repositioned or modified, their interpolated influence is immediately reflected in the rendered output. By combining the strengths of implicit and explicit representations, GENIE supports intuitive scene manipulation, dynamic interaction, and compatibility with physical simulation, bridging the gap between geometry-based editing and neural rendering. The code can be found under (https://github.com/MikolajZielinski/genie)