NeRF-Casting: Mejora de la Apariencia Dependiente de la Vista con Reflexiones Consistentes

NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections

May 23, 2024

Autores: Dor Verbin, Pratul P. Srinivasan, Peter Hedman, Ben Mildenhall, Benjamin Attal, Richard Szeliski, Jonathan T. Barron

cs.AI

Resumen

Los Campos de Radiancia Neural (NeRFs, por sus siglas en inglés) suelen tener dificultades para reconstruir y renderizar objetos altamente especulares, cuya apariencia varía rápidamente con cambios en el punto de vista. Trabajos recientes han mejorado la capacidad de los NeRFs para renderizar la apariencia especular detallada de la iluminación ambiental distante, pero no logran sintetizar reflejos consistentes de contenido más cercano. Además, estas técnicas dependen de redes neuronales grandes y computacionalmente costosas para modelar la radiancia saliente, lo que limita severamente la velocidad de optimización y renderizado. Abordamos estos problemas con un enfoque basado en trazado de rayos: en lugar de consultar una red neuronal costosa para obtener la radiancia dependiente de la vista en puntos a lo largo de cada rayo de la cámara, nuestro modelo lanza rayos de reflexión desde estos puntos y los traza a través de la representación NeRF para renderizar vectores de características que se decodifican en color utilizando una red pequeña y económica. Demostramos que nuestro modelo supera a métodos anteriores en la síntesis de vistas de escenas que contienen objetos brillantes, y que es el único método NeRF existente capaz de sintetizar apariencia especular y reflejos fotorrealistas en escenas del mundo real, mientras requiere un tiempo de optimización comparable a los modelos de síntesis de vistas más avanzados actualmente.

English

Neural Radiance Fields (NeRFs) typically struggle to reconstruct and render highly specular objects, whose appearance varies quickly with changes in viewpoint. Recent works have improved NeRF's ability to render detailed specular appearance of distant environment illumination, but are unable to synthesize consistent reflections of closer content. Moreover, these techniques rely on large computationally-expensive neural networks to model outgoing radiance, which severely limits optimization and rendering speed. We address these issues with an approach based on ray tracing: instead of querying an expensive neural network for the outgoing view-dependent radiance at points along each camera ray, our model casts reflection rays from these points and traces them through the NeRF representation to render feature vectors which are decoded into color using a small inexpensive network. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing shiny objects, and that it is the only existing NeRF method that can synthesize photorealistic specular appearance and reflections in real-world scenes, while requiring comparable optimization time to current state-of-the-art view synthesis models.