NeRF-Casting : Amélioration de l'apparence dépendante de la vue avec des réflexions cohérentes

NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections

May 23, 2024

Auteurs: Dor Verbin, Pratul P. Srinivasan, Peter Hedman, Ben Mildenhall, Benjamin Attal, Richard Szeliski, Jonathan T. Barron

cs.AI

Résumé

Les champs de radiance neuronaux (NeRFs) rencontrent généralement des difficultés à reconstruire et à rendre des objets hautement spéculaires, dont l'apparence varie rapidement avec les changements de point de vue. Des travaux récents ont amélioré la capacité des NeRFs à rendre l'apparence spéculaire détaillée de l'éclairage environnemental lointain, mais ils sont incapables de synthétiser des réflexions cohérentes de contenus plus proches. De plus, ces techniques reposent sur de grands réseaux neuronaux coûteux en calcul pour modéliser la radiance sortante, ce qui limite considérablement la vitesse d'optimisation et de rendu. Nous abordons ces problèmes avec une approche basée sur le lancer de rayons : au lieu d'interroger un réseau neuronal coûteux pour obtenir la radiance dépendante de la vue à des points le long de chaque rayon de caméra, notre modèle lance des rayons de réflexion à partir de ces points et les trace à travers la représentation NeRF pour rendre des vecteurs de caractéristiques qui sont décodés en couleur à l'aide d'un petit réseau peu coûteux. Nous démontrons que notre modèle surpasse les méthodes précédentes pour la synthèse de vues de scènes contenant des objets brillants, et qu'il est la seule méthode NeRF existante capable de synthétiser une apparence spéculaire et des réflexions photoréalistes dans des scènes du monde réel, tout en nécessitant un temps d'optimisation comparable aux modèles de synthèse de vues actuels les plus avancés.

English

Neural Radiance Fields (NeRFs) typically struggle to reconstruct and render highly specular objects, whose appearance varies quickly with changes in viewpoint. Recent works have improved NeRF's ability to render detailed specular appearance of distant environment illumination, but are unable to synthesize consistent reflections of closer content. Moreover, these techniques rely on large computationally-expensive neural networks to model outgoing radiance, which severely limits optimization and rendering speed. We address these issues with an approach based on ray tracing: instead of querying an expensive neural network for the outgoing view-dependent radiance at points along each camera ray, our model casts reflection rays from these points and traces them through the NeRF representation to render feature vectors which are decoded into color using a small inexpensive network. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing shiny objects, and that it is the only existing NeRF method that can synthesize photorealistic specular appearance and reflections in real-world scenes, while requiring comparable optimization time to current state-of-the-art view synthesis models.