MixRT: Rappresentazioni Neurali Miste per il Rendering in Tempo Reale di NeRF

MixRT: Mixed Neural Representations For Real-Time NeRF Rendering

December 19, 2023

Autori: Chaojian Li, Bichen Wu, Peter Vajda, Yingyan, Lin

cs.AI

Abstract

Il Neural Radiance Field (NeRF) è emerso come una tecnica all'avanguardia per la sintesi di nuove viste, grazie alla sua impressionante capacità di ricostruzione e rendering fotorealistico. Tuttavia, ottenere un rendering NeRF in tempo reale in scene di grandi dimensioni ha presentato sfide, portando spesso all'adozione di rappresentazioni complesse di mesh precalcolate con un numero elevato di triangoli o a un costoso ray marching in rappresentazioni precalcolate. Noi mettiamo in discussione queste convenzioni, osservando che una geometria di alta qualità, rappresentata da mesh con un numero sostanziale di triangoli, non è necessaria per ottenere una qualità di rendering fotorealistica. Di conseguenza, proponiamo MixRT, una nuova rappresentazione NeRF che include una mesh di bassa qualità, una mappa di spostamento dipendente dalla vista e un modello NeRF compresso. Questo design sfrutta efficacemente le capacità dell'hardware grafico esistente, consentendo così il rendering NeRF in tempo reale su dispositivi edge. Sfruttando un framework di rendering altamente ottimizzato basato su WebGL, il nostro MixRT proposto raggiunge velocità di rendering in tempo reale su dispositivi edge (oltre 30 FPS a una risoluzione di 1280 x 720 su un MacBook M1 Pro), una migliore qualità di rendering (0,2 PSNR in più nelle scene indoor dei dataset Unbounded-360) e una dimensione di archiviazione inferiore (meno dell'80% rispetto ai metodi all'avanguardia).

English

Neural Radiance Field (NeRF) has emerged as a leading technique for novel view synthesis, owing to its impressive photorealistic reconstruction and rendering capability. Nevertheless, achieving real-time NeRF rendering in large-scale scenes has presented challenges, often leading to the adoption of either intricate baked mesh representations with a substantial number of triangles or resource-intensive ray marching in baked representations. We challenge these conventions, observing that high-quality geometry, represented by meshes with substantial triangles, is not necessary for achieving photorealistic rendering quality. Consequently, we propose MixRT, a novel NeRF representation that includes a low-quality mesh, a view-dependent displacement map, and a compressed NeRF model. This design effectively harnesses the capabilities of existing graphics hardware, thus enabling real-time NeRF rendering on edge devices. Leveraging a highly-optimized WebGL-based rendering framework, our proposed MixRT attains real-time rendering speeds on edge devices (over 30 FPS at a resolution of 1280 x 720 on a MacBook M1 Pro laptop), better rendering quality (0.2 PSNR higher in indoor scenes of the Unbounded-360 datasets), and a smaller storage size (less than 80% compared to state-of-the-art methods).