GENIE: 인터랙티브 편집을 위한 가우시안 인코딩 기반 신경 방사 필드

초록

Neural Radiance Fields(NeRF)와 Gaussian Splatting(GS)는 최근 3D 장면 표현과 렌더링 방식을 혁신적으로 변화시켰습니다. NeRF는 신경망을 통해 볼륨 기반 표현을 학습함으로써 고품질의 새로운 시점 합성을 달성하지만, 암묵적 인코딩 방식으로 인해 편집과 물리적 상호작용이 어려운 단점이 있습니다. 반면, GS는 장면을 명시적인 가우시안 프리미티브 집합으로 표현하여 실시간 렌더링, 빠른 학습, 그리고 더 직관적인 조작을 가능하게 합니다. 이러한 명시적 구조는 GS를 인터랙티브 편집 및 물리 기반 시뮬레이션과의 통합에 특히 적합하게 만듭니다. 본 논문에서는 NeRF의 사실적인 렌더링 품질과 GS의 편집 가능한 구조적 표현을 결합한 하이브리드 모델인 GENIE(Gaussian Encoding for Neural Radiance Fields Interactive Editing)를 소개합니다. 구면 조화 함수를 사용하는 대신, 각 가우시안에 학습 가능한 특징 임베딩을 할당합니다. 이러한 임베딩은 각 쿼리 포인트에 대해 가장 가까운 k개의 가우시안을 기반으로 NeRF 네트워크를 조건화하는 데 사용됩니다. 이 조건화를 효율적으로 수행하기 위해, 수정된 레이 트레이싱 파이프라인을 기반으로 한 빠른 최근접 가우시안 탐색 기법인 Ray-Traced Gaussian Proximity Search(RT-GPS)를 도입했습니다. 또한, 가우시안 특징을 초기화하고 업데이트하기 위해 다중 해시 그리드를 통합했습니다. 이러한 구성 요소들은 실시간으로 지역 인식 편집을 가능하게 합니다: 가우시안 프리미티브가 재배치되거나 수정되면, 그들의 보간된 영향이 렌더링된 출력에 즉시 반영됩니다. 암묵적 표현과 명시적 표현의 강점을 결합함으로써, GENIE는 직관적인 장면 조작, 동적 상호작용, 그리고 물리 시뮬레이션과의 호환성을 지원하며, 기하학 기반 편집과 신경 렌더링 간의 간극을 메웁니다. 코드는 (https://github.com/MikolajZielinski/genie)에서 확인할 수 있습니다.

English

Neural Radiance Fields (NeRF) and Gaussian Splatting (GS) have recently transformed 3D scene representation and rendering. NeRF achieves high-fidelity novel view synthesis by learning volumetric representations through neural networks, but its implicit encoding makes editing and physical interaction challenging. In contrast, GS represents scenes as explicit collections of Gaussian primitives, enabling real-time rendering, faster training, and more intuitive manipulation. This explicit structure has made GS particularly well-suited for interactive editing and integration with physics-based simulation. In this paper, we introduce GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), a hybrid model that combines the photorealistic rendering quality of NeRF with the editable and structured representation of GS. Instead of using spherical harmonics for appearance modeling, we assign each Gaussian a trainable feature embedding. These embeddings are used to condition a NeRF network based on the k nearest Gaussians to each query point. To make this conditioning efficient, we introduce Ray-Traced Gaussian Proximity Search (RT-GPS), a fast nearest Gaussian search based on a modified ray-tracing pipeline. We also integrate a multi-resolution hash grid to initialize and update Gaussian features. Together, these components enable real-time, locality-aware editing: as Gaussian primitives are repositioned or modified, their interpolated influence is immediately reflected in the rendered output. By combining the strengths of implicit and explicit representations, GENIE supports intuitive scene manipulation, dynamic interaction, and compatibility with physical simulation, bridging the gap between geometry-based editing and neural rendering. The code can be found under (https://github.com/MikolajZielinski/genie)

GENIE: 인터랙티브 편집을 위한 가우시안 인코딩 기반 신경 방사 필드

GENIE: Gaussian Encoding for Neural Radiance Fields Interactive Editing

초록

Support