HybridNeRF : Rendu neuronal efficace via des surfaces volumétriques adaptatives

HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces

December 5, 2023

Auteurs: Haithem Turki, Vasu Agrawal, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Deva Ramanan, Michael Zollhöfer, Christian Richardt

cs.AI

Résumé

Les champs de radiance neuronaux offrent une qualité de synthèse de vues à la pointe de la technologie, mais ont tendance à être lents à rendre. Une des raisons est qu'ils utilisent le rendu volumétrique, nécessitant ainsi de nombreux échantillons (et requêtes au modèle) par rayon au moment du rendu. Bien que cette représentation soit flexible et facile à optimiser, la plupart des objets du monde réel peuvent être modélisés plus efficacement avec des surfaces plutôt que des volumes, nécessitant beaucoup moins d'échantillons par rayon. Cette observation a stimulé des progrès considérables dans les représentations de surfaces telles que les fonctions de distance signée, mais celles-ci peuvent avoir du mal à modéliser des structures semi-opaques et fines. Nous proposons une méthode, HybridNeRF, qui exploite les forces des deux représentations en rendant la plupart des objets sous forme de surfaces tout en modélisant volumétriquement la (généralement) petite fraction de régions complexes. Nous évaluons HybridNeRF sur le dataset Eyeful Tower, connu pour être difficile, ainsi que sur d'autres datasets couramment utilisés pour la synthèse de vues. En comparaison avec les méthodes de référence, y compris les approches récentes basées sur la rastérisation, nous réduisons les taux d'erreur de 15 à 30 % tout en atteignant des fréquences d'images en temps réel (au moins 36 FPS) pour des résolutions de réalité virtuelle (2Kx2K).

English

Neural radiance fields provide state-of-the-art view synthesis quality but tend to be slow to render. One reason is that they make use of volume rendering, thus requiring many samples (and model queries) per ray at render time. Although this representation is flexible and easy to optimize, most real-world objects can be modeled more efficiently with surfaces instead of volumes, requiring far fewer samples per ray. This observation has spurred considerable progress in surface representations such as signed distance functions, but these may struggle to model semi-opaque and thin structures. We propose a method, HybridNeRF, that leverages the strengths of both representations by rendering most objects as surfaces while modeling the (typically) small fraction of challenging regions volumetrically. We evaluate HybridNeRF against the challenging Eyeful Tower dataset along with other commonly used view synthesis datasets. When comparing to state-of-the-art baselines, including recent rasterization-based approaches, we improve error rates by 15-30% while achieving real-time framerates (at least 36 FPS) for virtual-reality resolutions (2Kx2K).