MixRT: Gemengde Neurale Representaties voor Real-Time NeRF Rendering

MixRT: Mixed Neural Representations For Real-Time NeRF Rendering

December 19, 2023

Auteurs: Chaojian Li, Bichen Wu, Peter Vajda, Yingyan, Lin

cs.AI

Samenvatting

Neural Radiance Field (NeRF) is naar voren gekomen als een toonaangevende techniek voor de synthese van nieuwe aanzichten, dankzij zijn indrukwekkende fotorealistische reconstructie- en weergavecapaciteiten. Het bereiken van real-time NeRF-rendering in grootschalige scènes blijft echter een uitdaging, wat vaak leidt tot het gebruik van complexe gebakken mesh-representaties met een aanzienlijk aantal driehoeken of resource-intensieve ray marching in gebakken representaties. Wij dagen deze conventies uit en merken op dat hoogwaardige geometrie, vertegenwoordigd door meshes met veel driehoeken, niet noodzakelijk is voor het bereiken van fotorealistische weergavekwaliteit. Daarom stellen we MixRT voor, een nieuwe NeRF-representatie die een mesh van lage kwaliteit, een aanzichtsafhankelijke verplaatsingskaart en een gecomprimeerd NeRF-model omvat. Dit ontwerp benut effectief de mogelijkheden van bestaande grafische hardware, waardoor real-time NeRF-rendering op edge-apparaten mogelijk wordt. Door gebruik te maken van een sterk geoptimaliseerd WebGL-gebaseerd renderingframework bereikt onze voorgestelde MixRT real-time renderingsnelheden op edge-apparaten (meer dan 30 FPS bij een resolutie van 1280 x 720 op een MacBook M1 Pro laptop), betere weergavekwaliteit (0,2 PSNR hoger in binnenomgevingen van de Unbounded-360 datasets) en een kleinere opslaggrootte (minder dan 80% vergeleken met state-of-the-art methoden).

English

Neural Radiance Field (NeRF) has emerged as a leading technique for novel view synthesis, owing to its impressive photorealistic reconstruction and rendering capability. Nevertheless, achieving real-time NeRF rendering in large-scale scenes has presented challenges, often leading to the adoption of either intricate baked mesh representations with a substantial number of triangles or resource-intensive ray marching in baked representations. We challenge these conventions, observing that high-quality geometry, represented by meshes with substantial triangles, is not necessary for achieving photorealistic rendering quality. Consequently, we propose MixRT, a novel NeRF representation that includes a low-quality mesh, a view-dependent displacement map, and a compressed NeRF model. This design effectively harnesses the capabilities of existing graphics hardware, thus enabling real-time NeRF rendering on edge devices. Leveraging a highly-optimized WebGL-based rendering framework, our proposed MixRT attains real-time rendering speeds on edge devices (over 30 FPS at a resolution of 1280 x 720 on a MacBook M1 Pro laptop), better rendering quality (0.2 PSNR higher in indoor scenes of the Unbounded-360 datasets), and a smaller storage size (less than 80% compared to state-of-the-art methods).