HybridNeRF: Efficiënt Neurale Renderen via Adaptieve Volumetrische Oppervlakken

HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces

December 5, 2023

Auteurs: Haithem Turki, Vasu Agrawal, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Deva Ramanan, Michael Zollhöfer, Christian Richardt

cs.AI

Samenvatting

Neurale stralingsvelden bieden state-of-the-art kwaliteit voor viewsynthese, maar zijn vaak traag om weer te geven. Een reden hiervoor is dat ze gebruikmaken van volumetrische rendering, waardoor veel samples (en modelquery's) per straal nodig zijn tijdens het renderen. Hoewel deze representatie flexibel en eenvoudig te optimaliseren is, kunnen de meeste objecten in de echte wereld efficiënter worden gemodelleerd met oppervlakken in plaats van volumes, wat veel minder samples per straal vereist. Deze observatie heeft aanzienlijke vooruitgang gestimuleerd in oppervlakrepresentaties zoals signed distance functions, maar deze kunnen moeite hebben met het modelleren van semi-transparante en dunne structuren. Wij stellen een methode voor, HybridNeRF, die de sterke punten van beide representaties benut door de meeste objecten als oppervlakken weer te geven, terwijl de (meestal) kleine fractie van uitdagende regio's volumetrisch wordt gemodelleerd. We evalueren HybridNeRF tegen de uitdagende Eyeful Tower-dataset, samen met andere veelgebruikte datasets voor viewsynthese. In vergelijking met state-of-the-art baselines, waaronder recente rasterisatiegebaseerde benaderingen, verbeteren we de foutpercentages met 15-30% terwijl we real-time framerates (minstens 36 FPS) behalen voor virtual-reality-resoluties (2Kx2K).

English

Neural radiance fields provide state-of-the-art view synthesis quality but tend to be slow to render. One reason is that they make use of volume rendering, thus requiring many samples (and model queries) per ray at render time. Although this representation is flexible and easy to optimize, most real-world objects can be modeled more efficiently with surfaces instead of volumes, requiring far fewer samples per ray. This observation has spurred considerable progress in surface representations such as signed distance functions, but these may struggle to model semi-opaque and thin structures. We propose a method, HybridNeRF, that leverages the strengths of both representations by rendering most objects as surfaces while modeling the (typically) small fraction of challenging regions volumetrically. We evaluate HybridNeRF against the challenging Eyeful Tower dataset along with other commonly used view synthesis datasets. When comparing to state-of-the-art baselines, including recent rasterization-based approaches, we improve error rates by 15-30% while achieving real-time framerates (at least 36 FPS) for virtual-reality resolutions (2Kx2K).