HybridNeRF: Rendering Neurale Efficiente tramite Superfici Volumetriche Adattive

HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces

December 5, 2023

Autori: Haithem Turki, Vasu Agrawal, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Deva Ramanan, Michael Zollhöfer, Christian Richardt

cs.AI

Abstract

I campi di radianza neurale offrono una qualità di sintesi visiva all'avanguardia, ma tendono a essere lenti nel rendering. Una delle ragioni è che utilizzano il rendering volumetrico, richiedendo quindi molti campioni (e query al modello) per ogni raggio durante il rendering. Sebbene questa rappresentazione sia flessibile e facile da ottimizzare, la maggior parte degli oggetti del mondo reale può essere modellata in modo più efficiente con superfici anziché volumi, richiedendo un numero molto inferiore di campioni per raggio. Questa osservazione ha stimolato notevoli progressi nelle rappresentazioni superficiali come le funzioni di distanza con segno, ma queste possono avere difficoltà a modellare strutture semi-opache e sottili. Proponiamo un metodo, HybridNeRF, che sfrutta i punti di forza di entrambe le rappresentazioni, rendendo la maggior parte degli oggetti come superfici mentre modella volumetricamente la (tipicamente) piccola frazione di regioni complesse. Valutiamo HybridNeRF rispetto al complesso dataset Eyeful Tower insieme ad altri dataset comunemente utilizzati per la sintesi visiva. Confrontandoci con baseline all'avanguardia, inclusi approcci recenti basati sul rasterizzazione, riduciamo i tassi di errore del 15-30% raggiungendo frame rate in tempo reale (almeno 36 FPS) per risoluzioni di realtà virtuale (2Kx2K).

English

Neural radiance fields provide state-of-the-art view synthesis quality but tend to be slow to render. One reason is that they make use of volume rendering, thus requiring many samples (and model queries) per ray at render time. Although this representation is flexible and easy to optimize, most real-world objects can be modeled more efficiently with surfaces instead of volumes, requiring far fewer samples per ray. This observation has spurred considerable progress in surface representations such as signed distance functions, but these may struggle to model semi-opaque and thin structures. We propose a method, HybridNeRF, that leverages the strengths of both representations by rendering most objects as surfaces while modeling the (typically) small fraction of challenging regions volumetrically. We evaluate HybridNeRF against the challenging Eyeful Tower dataset along with other commonly used view synthesis datasets. When comparing to state-of-the-art baselines, including recent rasterization-based approaches, we improve error rates by 15-30% while achieving real-time framerates (at least 36 FPS) for virtual-reality resolutions (2Kx2K).