HybridNeRF: Effizientes neuronales Rendering durch adaptive volumetrische Oberflächen

HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces

December 5, 2023

Autoren: Haithem Turki, Vasu Agrawal, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Deva Ramanan, Michael Zollhöfer, Christian Richardt

cs.AI

Zusammenfassung

Neurale Strahlungsfelder bieten eine erstklassige Qualität bei der Ansichtssynthese, sind jedoch tendenziell langsam in der Darstellung. Ein Grund dafür ist, dass sie Volumenrendering verwenden und somit viele Samples (und Modellanfragen) pro Strahl zur Renderzeit benötigen. Obwohl diese Darstellung flexibel und einfach zu optimieren ist, können die meisten Objekte in der realen Welt effizienter mit Oberflächen statt mit Volumen modelliert werden, was weit weniger Samples pro Strahl erfordert. Diese Beobachtung hat erhebliche Fortschritte bei Oberflächendarstellungen wie signierten Distanzfunktionen angeregt, doch diese können Schwierigkeiten haben, halbdurchsichtige und dünne Strukturen zu modellieren. Wir schlagen eine Methode namens HybridNeRF vor, die die Stärken beider Darstellungen nutzt, indem sie die meisten Objekte als Oberflächen rendert, während die (typischerweise) kleinen Anteile an anspruchsvollen Regionen volumetrisch modelliert werden. Wir evaluieren HybridNeRF anhand des anspruchsvollen Eyeful Tower-Datensatzes sowie anderer häufig verwendeter Datensätze zur Ansichtssynthese. Im Vergleich zu modernsten Baselines, einschließlich neuer rasterisierungsbasierter Ansätze, verbessern wir die Fehlerraten um 15-30 % und erreichen gleichzeitig Echtzeit-Frameraten (mindestens 36 FPS) für Virtual-Reality-Auflösungen (2Kx2K).

English

Neural radiance fields provide state-of-the-art view synthesis quality but tend to be slow to render. One reason is that they make use of volume rendering, thus requiring many samples (and model queries) per ray at render time. Although this representation is flexible and easy to optimize, most real-world objects can be modeled more efficiently with surfaces instead of volumes, requiring far fewer samples per ray. This observation has spurred considerable progress in surface representations such as signed distance functions, but these may struggle to model semi-opaque and thin structures. We propose a method, HybridNeRF, that leverages the strengths of both representations by rendering most objects as surfaces while modeling the (typically) small fraction of challenging regions volumetrically. We evaluate HybridNeRF against the challenging Eyeful Tower dataset along with other commonly used view synthesis datasets. When comparing to state-of-the-art baselines, including recent rasterization-based approaches, we improve error rates by 15-30% while achieving real-time framerates (at least 36 FPS) for virtual-reality resolutions (2Kx2K).