NeRF-Casting: Verbesserte ansichtsabhängige Erscheinung mit konsistenten Reflexionen

NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections

May 23, 2024

Autoren: Dor Verbin, Pratul P. Srinivasan, Peter Hedman, Ben Mildenhall, Benjamin Attal, Richard Szeliski, Jonathan T. Barron

cs.AI

Zusammenfassung

Neuronale Strahlungsfelder (NeRFs) haben in der Regel Schwierigkeiten, hochspektrale Objekte zu rekonstruieren und darzustellen, deren Erscheinungsbild sich schnell mit Änderungen des Blickwinkels ändert. In jüngsten Arbeiten wurde die Fähigkeit von NeRF verbessert, detaillierte spektrale Erscheinungsbilder der Beleuchtung der entfernten Umgebung darzustellen, jedoch können konsistente Reflexionen von näherem Inhalt nicht synthetisiert werden. Darüber hinaus beruhen diese Techniken auf großen, rechenaufwändigen neuronalen Netzwerken zur Modellierung der ausgehenden Strahlung, was die Optimierung und Rendergeschwindigkeit erheblich einschränkt. Wir begegnen diesen Problemen mit einem auf Strahlenverfolgung basierenden Ansatz: Anstatt ein teures neuronales Netzwerk nach der ausgehenden, blickwinkelabhängigen Strahlung an Punkten entlang jedes Kamerarays abzufragen, wirft unser Modell Reflexionsstrahlen von diesen Punkten aus und verfolgt sie durch die NeRF-Repräsentation, um Merkmalsvektoren zu rendern, die mithilfe eines kleinen, kostengünstigen Netzwerks in Farben umgewandelt werden. Wir zeigen, dass unser Modell bisherige Methoden für die Ansichtssynthese von Szenen mit glänzenden Objekten übertrifft und dass es die einzige vorhandene NeRF-Methode ist, die photorealistische spektrale Erscheinungsbilder und Reflexionen in realen Szenen synthetisieren kann, während sie eine vergleichbare Optimierungszeit wie aktuelle Spitzenmodelle für die Ansichtssynthese erfordert.

English

Neural Radiance Fields (NeRFs) typically struggle to reconstruct and render highly specular objects, whose appearance varies quickly with changes in viewpoint. Recent works have improved NeRF's ability to render detailed specular appearance of distant environment illumination, but are unable to synthesize consistent reflections of closer content. Moreover, these techniques rely on large computationally-expensive neural networks to model outgoing radiance, which severely limits optimization and rendering speed. We address these issues with an approach based on ray tracing: instead of querying an expensive neural network for the outgoing view-dependent radiance at points along each camera ray, our model casts reflection rays from these points and traces them through the NeRF representation to render feature vectors which are decoded into color using a small inexpensive network. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing shiny objects, and that it is the only existing NeRF method that can synthesize photorealistic specular appearance and reflections in real-world scenes, while requiring comparable optimization time to current state-of-the-art view synthesis models.