Излучение NeRF: Улучшенный вид, зависящий от обзора, с согласованными отражениями

NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections

May 23, 2024

Авторы: Dor Verbin, Pratul P. Srinivasan, Peter Hedman, Ben Mildenhall, Benjamin Attal, Richard Szeliski, Jonathan T. Barron

cs.AI

Аннотация

Нейронные поля радиантности (NeRF) обычно испытывают затруднения с восстановлением и отображением высокоотражающих объектов, чей внешний вид быстро изменяется при изменении точки обзора. Недавние работы улучшили способность NeRF к отображению детального отражательного вида далекого окружающего освещения, но не могут синтезировать последовательные отражения близкого контента. Более того, эти техники полагаются на большие вычислительно затратные нейронные сети для моделирования исходящей радиантности, что серьезно ограничивает оптимизацию и скорость отображения. Мы решаем эти проблемы с помощью подхода, основанного на трассировке лучей: вместо запроса дорогостоящей нейронной сети для исходящей видозависимой радиантности в точках вдоль каждого луча камеры, наша модель испускает лучи отражения из этих точек и прослеживает их через представление NeRF для отображения векторов признаков, которые декодируются в цвет с использованием небольшой недорогой сети. Мы демонстрируем, что наша модель превосходит предыдущие методы для синтеза обзора сцен, содержащих блестящие объекты, и что это единственный существующий метод NeRF, который может синтезировать фотореалистичный отражательный вид и отражения в сценах реального мира, требуя при этом сравнимого времени оптимизации с современными моделями синтеза обзора.

English

Neural Radiance Fields (NeRFs) typically struggle to reconstruct and render highly specular objects, whose appearance varies quickly with changes in viewpoint. Recent works have improved NeRF's ability to render detailed specular appearance of distant environment illumination, but are unable to synthesize consistent reflections of closer content. Moreover, these techniques rely on large computationally-expensive neural networks to model outgoing radiance, which severely limits optimization and rendering speed. We address these issues with an approach based on ray tracing: instead of querying an expensive neural network for the outgoing view-dependent radiance at points along each camera ray, our model casts reflection rays from these points and traces them through the NeRF representation to render feature vectors which are decoded into color using a small inexpensive network. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing shiny objects, and that it is the only existing NeRF method that can synthesize photorealistic specular appearance and reflections in real-world scenes, while requiring comparable optimization time to current state-of-the-art view synthesis models.