NeRF-Casting: Verbeterd uitzichtafhankelijk uiterlijk met consistente reflecties

NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections

May 23, 2024

Auteurs: Dor Verbin, Pratul P. Srinivasan, Peter Hedman, Ben Mildenhall, Benjamin Attal, Richard Szeliski, Jonathan T. Barron

cs.AI

Samenvatting

Neural Radiance Fields (NeRFs) hebben doorgaans moeite met het reconstrueren en renderen van sterk reflecterende objecten, waarvan het uiterlijk snel verandert bij wijzigingen in het gezichtspunt. Recente werken hebben het vermogen van NeRF verbeterd om gedetailleerde reflecterende aspecten van verre omgevingsverlichting te renderen, maar zijn niet in staat om consistente reflecties van dichterbij gelegen inhoud te synthetiseren. Bovendien vertrouwen deze technieken op grote, rekenintensieve neurale netwerken om de uitgaande straling te modelleren, wat de optimalisatie- en rendersnelheid ernstig beperkt. Wij pakken deze problemen aan met een op ray tracing gebaseerde aanpak: in plaats van een duur neuraal netwerk te raadplegen voor de uitgaande, gezichtsafhankelijke straling op punten langs elke camerastraal, werpt ons model reflectiestralen vanaf deze punten en traceert ze door de NeRF-representatie om featurevectoren te renderen die worden gedecodeerd naar kleur met behulp van een klein, goedkoop netwerk. Wij demonstreren dat ons model superieur presteert ten opzichte van eerdere methoden voor viewsynthese van scènes met glanzende objecten, en dat het de enige bestaande NeRF-methode is die fotorealistische reflecterende aspecten en reflecties in real-world scènes kan synthetiseren, terwijl het een vergelijkbare optimalisatietijd vereist als de huidige state-of-the-art viewsynthesemodellen.

English

Neural Radiance Fields (NeRFs) typically struggle to reconstruct and render highly specular objects, whose appearance varies quickly with changes in viewpoint. Recent works have improved NeRF's ability to render detailed specular appearance of distant environment illumination, but are unable to synthesize consistent reflections of closer content. Moreover, these techniques rely on large computationally-expensive neural networks to model outgoing radiance, which severely limits optimization and rendering speed. We address these issues with an approach based on ray tracing: instead of querying an expensive neural network for the outgoing view-dependent radiance at points along each camera ray, our model casts reflection rays from these points and traces them through the NeRF representation to render feature vectors which are decoded into color using a small inexpensive network. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing shiny objects, and that it is the only existing NeRF method that can synthesize photorealistic specular appearance and reflections in real-world scenes, while requiring comparable optimization time to current state-of-the-art view synthesis models.