HybridNeRF: Renderização Neural Eficiente por meio de Superfícies Volumétricas Adaptativas

HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces

December 5, 2023

Autores: Haithem Turki, Vasu Agrawal, Samuel Rota Bulò, Lorenzo Porzi, Peter Kontschieder, Deva Ramanan, Michael Zollhöfer, Christian Richardt

cs.AI

Resumo

Campos de radiação neural oferecem qualidade de síntese de visão de última geração, mas tendem a ser lentos para renderizar. Uma razão para isso é que eles utilizam renderização volumétrica, exigindo muitas amostras (e consultas ao modelo) por raio durante a renderização. Embora essa representação seja flexível e fácil de otimizar, a maioria dos objetos do mundo real pode ser modelada de forma mais eficiente com superfícies em vez de volumes, exigindo muito menos amostras por raio. Essa observação impulsionou um progresso considerável em representações de superfície, como funções de distância assinada, mas essas podem ter dificuldade em modelar estruturas semitransparentes e finas. Propomos um método, o HybridNeRF, que aproveita os pontos fortes de ambas as representações, renderizando a maioria dos objetos como superfícies enquanto modela volumetricamente a (geralmente) pequena fração de regiões desafiadoras. Avaliamos o HybridNeRF contra o desafiador conjunto de dados Eyeful Tower, juntamente com outros conjuntos de dados comumente usados para síntese de visão. Ao comparar com baselines de última geração, incluindo abordagens recentes baseadas em rasterização, reduzimos as taxas de erro em 15-30% enquanto alcançamos taxas de quadros em tempo real (pelo menos 36 FPS) para resoluções de realidade virtual (2Kx2K).

English

Neural radiance fields provide state-of-the-art view synthesis quality but tend to be slow to render. One reason is that they make use of volume rendering, thus requiring many samples (and model queries) per ray at render time. Although this representation is flexible and easy to optimize, most real-world objects can be modeled more efficiently with surfaces instead of volumes, requiring far fewer samples per ray. This observation has spurred considerable progress in surface representations such as signed distance functions, but these may struggle to model semi-opaque and thin structures. We propose a method, HybridNeRF, that leverages the strengths of both representations by rendering most objects as surfaces while modeling the (typically) small fraction of challenging regions volumetrically. We evaluate HybridNeRF against the challenging Eyeful Tower dataset along with other commonly used view synthesis datasets. When comparing to state-of-the-art baselines, including recent rasterization-based approaches, we improve error rates by 15-30% while achieving real-time framerates (at least 36 FPS) for virtual-reality resolutions (2Kx2K).