GENIE: Гауссово кодирование для интерактивного редактирования нейронных полей излучения

GENIE: Gaussian Encoding for Neural Radiance Fields Interactive Editing

August 4, 2025

Авторы: Mikołaj Zieliński, Krzysztof Byrski, Tomasz Szczepanik, Przemysław Spurek

cs.AI

Аннотация

Нейронные поля излучения (NeRF) и гауссово размытие (Gaussian Splatting, GS) недавно произвели революцию в представлении и рендеринге 3D-сцен. NeRF достигает высококачественного синтеза новых видов, обучая объемные представления с помощью нейронных сетей, но его неявное кодирование затрудняет редактирование и физическое взаимодействие. В отличие от этого, GS представляет сцены как явные коллекции гауссовых примитивов, что позволяет выполнять рендеринг в реальном времени, ускорять обучение и обеспечивать более интуитивное управление. Эта явная структура делает GS особенно подходящим для интерактивного редактирования и интеграции с физически основанными симуляциями. В данной статье мы представляем GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), гибридную модель, которая сочетает фотореалистичное качество рендеринга NeRF с редактируемым и структурированным представлением GS. Вместо использования сферических гармоник для моделирования внешнего вида мы назначаем каждому гауссову примитиву обучаемое вложение признаков. Эти вложения используются для кондиционирования сети NeRF на основе k ближайших гауссовых примитивов к каждой точке запроса. Чтобы сделать это кондиционирование эффективным, мы вводим Ray-Traced Gaussian Proximity Search (RT-GPS), быстрый поиск ближайших гауссовых примитивов на основе модифицированного конвейера трассировки лучей. Мы также интегрируем многоуровневую хэш-сетку для инициализации и обновления гауссовых признаков. Вместе эти компоненты обеспечивают редактирование в реальном времени с учетом локальности: при перемещении или изменении гауссовых примитивов их интерполированное влияние сразу отражается в рендеринге. Сочетая преимущества неявных и явных представлений, GENIE поддерживает интуитивное управление сценами, динамическое взаимодействие и совместимость с физической симуляцией, устраняя разрыв между редактированием на основе геометрии и нейронным рендерингом. Код доступен по ссылке: https://github.com/MikolajZielinski/genie.

English

Neural Radiance Fields (NeRF) and Gaussian Splatting (GS) have recently transformed 3D scene representation and rendering. NeRF achieves high-fidelity novel view synthesis by learning volumetric representations through neural networks, but its implicit encoding makes editing and physical interaction challenging. In contrast, GS represents scenes as explicit collections of Gaussian primitives, enabling real-time rendering, faster training, and more intuitive manipulation. This explicit structure has made GS particularly well-suited for interactive editing and integration with physics-based simulation. In this paper, we introduce GENIE (Gaussian Encoding for Neural Radiance Fields Interactive Editing), a hybrid model that combines the photorealistic rendering quality of NeRF with the editable and structured representation of GS. Instead of using spherical harmonics for appearance modeling, we assign each Gaussian a trainable feature embedding. These embeddings are used to condition a NeRF network based on the k nearest Gaussians to each query point. To make this conditioning efficient, we introduce Ray-Traced Gaussian Proximity Search (RT-GPS), a fast nearest Gaussian search based on a modified ray-tracing pipeline. We also integrate a multi-resolution hash grid to initialize and update Gaussian features. Together, these components enable real-time, locality-aware editing: as Gaussian primitives are repositioned or modified, their interpolated influence is immediately reflected in the rendered output. By combining the strengths of implicit and explicit representations, GENIE supports intuitive scene manipulation, dynamic interaction, and compatibility with physical simulation, bridging the gap between geometry-based editing and neural rendering. The code can be found under (https://github.com/MikolajZielinski/genie)