NeRF-Casting: Miglioramento dell'aspetto dipendente dalla vista con riflessioni coerenti

NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections

May 23, 2024

Autori: Dor Verbin, Pratul P. Srinivasan, Peter Hedman, Ben Mildenhall, Benjamin Attal, Richard Szeliski, Jonathan T. Barron

cs.AI

Abstract

I Neural Radiance Fields (NeRFs) incontrano generalmente difficoltà nel ricostruire e renderizzare oggetti altamente speculari, il cui aspetto varia rapidamente con i cambiamenti del punto di vista. Recenti lavori hanno migliorato la capacità dei NeRF di renderizzare l'aspetto dettagliato e speculare dell'illuminazione ambientale distante, ma non sono in grado di sintetizzare riflessi coerenti di contenuti più vicini. Inoltre, queste tecniche si basano su grandi reti neurali computazionalmente costose per modellare la radianza uscente, il che limita fortemente la velocità di ottimizzazione e rendering. Affrontiamo questi problemi con un approccio basato sul ray tracing: invece di interrogare una costosa rete neurale per la radianza uscente dipendente dalla vista in punti lungo ogni raggio della telecamera, il nostro modello lancia raggi di riflessione da questi punti e li traccia attraverso la rappresentazione NeRF per renderizzare vettori di feature che vengono decodificati in colore utilizzando una piccola rete poco costosa. Dimostriamo che il nostro modello supera i metodi precedenti per la sintesi di viste di scene contenenti oggetti lucidi, e che è l'unico metodo NeRF esistente in grado di sintetizzare un aspetto speculare e riflessi fotorealistici in scene del mondo reale, richiedendo un tempo di ottimizzazione paragonabile ai modelli di sintesi di viste all'avanguardia attuali.

English

Neural Radiance Fields (NeRFs) typically struggle to reconstruct and render highly specular objects, whose appearance varies quickly with changes in viewpoint. Recent works have improved NeRF's ability to render detailed specular appearance of distant environment illumination, but are unable to synthesize consistent reflections of closer content. Moreover, these techniques rely on large computationally-expensive neural networks to model outgoing radiance, which severely limits optimization and rendering speed. We address these issues with an approach based on ray tracing: instead of querying an expensive neural network for the outgoing view-dependent radiance at points along each camera ray, our model casts reflection rays from these points and traces them through the NeRF representation to render feature vectors which are decoded into color using a small inexpensive network. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing shiny objects, and that it is the only existing NeRF method that can synthesize photorealistic specular appearance and reflections in real-world scenes, while requiring comparable optimization time to current state-of-the-art view synthesis models.