GENIE：ニューラルラジアンスフィールドのインタラクティブ編集のためのガウス符号化

要旨

Neural Radiance Fields (NeRF) と Gaussian Splatting (GS) は最近、3Dシーンの表現とレンダリングを大きく変革しました。NeRFは、ニューラルネットワークを通じてボリュメトリック表現を学習することで高精細な新規視点合成を実現しますが、その暗黙的なエンコーディングは編集や物理的相互作用を困難にします。一方、GSはシーンを明示的なガウシアンプリミティブの集合として表現し、リアルタイムレンダリング、高速なトレーニング、そしてより直感的な操作を可能にします。この明示的な構造により、GSはインタラクティブな編集や物理ベースのシミュレーションとの統合に特に適しています。本論文では、NeRFのフォトリアルなレンダリング品質とGSの編集可能で構造化された表現を組み合わせたハイブリッドモデル、GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing) を紹介します。外観モデリングに球面調和関数を使用する代わりに、各ガウシアンにトレーニング可能な特徴埋め込みを割り当てます。これらの埋め込みは、各クエリポイントに最も近いk個のガウシアンに基づいてNeRFネットワークを条件付けるために使用されます。この条件付けを効率的にするために、修正されたレイトレーシングパイプラインに基づく高速な最近傍ガウシアン検索、Ray-Traced Gaussian Proximity Search (RT-GPS) を導入します。また、ガウシアンの特徴を初期化および更新するために、マルチ解像度ハッシュグリッドを統合します。これらのコンポーネントを組み合わせることで、リアルタイムで局所性を意識した編集が可能になります。ガウシアンプリミティブが再配置または変更されると、その補間された影響が即座にレンダリング出力に反映されます。暗黙的および明示的表現の長所を組み合わせることで、GENIEは直感的なシーン操作、動的な相互作用、物理シミュレーションとの互換性をサポートし、ジオメトリベースの編集とニューラルレンダリングの間のギャップを埋めます。コードは (https://github.com/MikolajZielinski/genie) で公開されています。

English

Neural Radiance Fields (NeRF) and Gaussian Splatting (GS) have recently transformed 3D scene representation and rendering. NeRF achieves high-fidelity novel view synthesis by learning volumetric representations through neural networks, but its implicit encoding makes editing and physical interaction challenging. In contrast, GS represents scenes as explicit collections of Gaussian primitives, enabling real-time rendering, faster training, and more intuitive manipulation. This explicit structure has made GS particularly well-suited for interactive editing and integration with physics-based simulation. In this paper, we introduce GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), a hybrid model that combines the photorealistic rendering quality of NeRF with the editable and structured representation of GS. Instead of using spherical harmonics for appearance modeling, we assign each Gaussian a trainable feature embedding. These embeddings are used to condition a NeRF network based on the k nearest Gaussians to each query point. To make this conditioning efficient, we introduce Ray-Traced Gaussian Proximity Search (RT-GPS), a fast nearest Gaussian search based on a modified ray-tracing pipeline. We also integrate a multi-resolution hash grid to initialize and update Gaussian features. Together, these components enable real-time, locality-aware editing: as Gaussian primitives are repositioned or modified, their interpolated influence is immediately reflected in the rendered output. By combining the strengths of implicit and explicit representations, GENIE supports intuitive scene manipulation, dynamic interaction, and compatibility with physical simulation, bridging the gap between geometry-based editing and neural rendering. The code can be found under (https://github.com/MikolajZielinski/genie)

GENIE：ニューラルラジアンスフィールドのインタラクティブ編集のためのガウス符号化

GENIE: Gaussian Encoding for Neural Radiance Fields Interactive Editing

要旨

Support