NeRF-Casting: Aparência Dependente da Visão Aprimorada com Reflexões Consistentes

NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections

May 23, 2024

Autores: Dor Verbin, Pratul P. Srinivasan, Peter Hedman, Ben Mildenhall, Benjamin Attal, Richard Szeliski, Jonathan T. Barron

cs.AI

Resumo

Campos de Radiação Neural (NeRFs) geralmente enfrentam dificuldades para reconstruir e renderizar objetos altamente especulares, cuja aparência varia rapidamente com mudanças no ponto de vista. Trabalhos recentes melhoraram a capacidade do NeRF de renderizar a aparência especular detalhada da iluminação do ambiente distante, mas são incapazes de sintetizar reflexos consistentes de conteúdos mais próximos. Além disso, essas técnicas dependem de grandes redes neurais computacionalmente caras para modelar a radiância emitida, o que limita severamente a velocidade de otimização e renderização. Abordamos esses problemas com uma técnica baseada em ray tracing: em vez de consultar uma rede neural cara para obter a radiância dependente da visão em pontos ao longo de cada raio da câmera, nosso modelo lança raios de reflexão a partir desses pontos e os rastreia através da representação NeRF para renderizar vetores de características que são decodificados em cores usando uma rede pequena e de baixo custo. Demonstramos que nosso modelo supera métodos anteriores para síntese de visão de cenas contendo objetos brilhantes e que é o único método NeRF existente capaz de sintetizar aparência especular e reflexos fotorealísticos em cenas do mundo real, enquanto requer um tempo de otimização comparável aos modelos de síntese de visão mais avançados atualmente.

English

Neural Radiance Fields (NeRFs) typically struggle to reconstruct and render highly specular objects, whose appearance varies quickly with changes in viewpoint. Recent works have improved NeRF's ability to render detailed specular appearance of distant environment illumination, but are unable to synthesize consistent reflections of closer content. Moreover, these techniques rely on large computationally-expensive neural networks to model outgoing radiance, which severely limits optimization and rendering speed. We address these issues with an approach based on ray tracing: instead of querying an expensive neural network for the outgoing view-dependent radiance at points along each camera ray, our model casts reflection rays from these points and traces them through the NeRF representation to render feature vectors which are decoded into color using a small inexpensive network. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing shiny objects, and that it is the only existing NeRF method that can synthesize photorealistic specular appearance and reflections in real-world scenes, while requiring comparable optimization time to current state-of-the-art view synthesis models.