HybridNeRF: Renderizado Neural Eficiente mediante Superficies Volumétricas Adaptativas

HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces

December 5, 2023

Autores: Haithem Turki, Vasu Agrawal, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Deva Ramanan, Michael Zollhöfer, Christian Richardt

cs.AI

Resumen

Los campos de radiancia neural ofrecen una calidad de síntesis de vistas de vanguardia, pero tienden a ser lentos en la renderización. Una razón es que utilizan renderización volumétrica, lo que requiere muchas muestras (y consultas al modelo) por rayo durante la renderización. Aunque esta representación es flexible y fácil de optimizar, la mayoría de los objetos del mundo real pueden modelarse de manera más eficiente con superficies en lugar de volúmenes, requiriendo muchas menos muestras por rayo. Esta observación ha impulsado un progreso considerable en representaciones de superficie, como las funciones de distancia con signo, pero estas pueden tener dificultades para modelar estructuras semitransparentes y delgadas. Proponemos un método, HybridNeRF, que aprovecha las fortalezas de ambas representaciones al renderizar la mayoría de los objetos como superficies mientras modela volumétricamente la (típicamente) pequeña fracción de regiones desafiantes. Evaluamos HybridNeRF en el desafiante conjunto de datos Eyeful Tower junto con otros conjuntos de datos comúnmente utilizados para la síntesis de vistas. Al compararlo con los métodos de referencia más avanzados, incluidos enfoques recientes basados en rasterización, mejoramos las tasas de error en un 15-30% mientras alcanzamos tasas de cuadros en tiempo real (al menos 36 FPS) para resoluciones de realidad virtual (2Kx2K).

English

Neural radiance fields provide state-of-the-art view synthesis quality but tend to be slow to render. One reason is that they make use of volume rendering, thus requiring many samples (and model queries) per ray at render time. Although this representation is flexible and easy to optimize, most real-world objects can be modeled more efficiently with surfaces instead of volumes, requiring far fewer samples per ray. This observation has spurred considerable progress in surface representations such as signed distance functions, but these may struggle to model semi-opaque and thin structures. We propose a method, HybridNeRF, that leverages the strengths of both representations by rendering most objects as surfaces while modeling the (typically) small fraction of challenging regions volumetrically. We evaluate HybridNeRF against the challenging Eyeful Tower dataset along with other commonly used view synthesis datasets. When comparing to state-of-the-art baselines, including recent rasterization-based approaches, we improve error rates by 15-30% while achieving real-time framerates (at least 36 FPS) for virtual-reality resolutions (2Kx2K).