MixRT: Gemischte neuronale Repräsentationen für Echtzeit-NeRF-Rendering

MixRT: Mixed Neural Representations For Real-Time NeRF Rendering

December 19, 2023

Autoren: Chaojian Li, Bichen Wu, Peter Vajda, Yingyan, Lin

cs.AI

Zusammenfassung

Neural Radiance Field (NeRF) hat sich als führende Technik für die Synthese neuer Ansichten etabliert, dank seiner beeindruckenden fotorealistischen Rekonstruktions- und Rendering-Fähigkeiten. Dennoch stellt die Echtzeit-Rendering von NeRF in großflächigen Szenen eine Herausforderung dar, was oft zur Verwendung entweder komplexer gebackener Mesh-Darstellungen mit einer erheblichen Anzahl von Dreiecken oder ressourcenintensivem Ray Marching in gebackenen Darstellungen führt. Wir stellen diese Konventionen in Frage und beobachten, dass hochwertige Geometrie, repräsentiert durch Meshes mit vielen Dreiecken, nicht notwendig ist, um fotorealistische Rendering-Qualität zu erreichen. Folglich schlagen wir MixRT vor, eine neuartige NeRF-Darstellung, die ein qualitativ minderwertiges Mesh, eine ansichtsabhängige Verschiebungskarte und ein komprimiertes NeRF-Modell umfasst. Dieser Entwurf nutzt die Fähigkeiten bestehender Grafikhardware effektiv und ermöglicht so Echtzeit-NeRF-Rendering auf Edge-Geräten. Durch die Nutzung eines hochoptimierten WebGL-basierten Rendering-Frameworks erreicht unser vorgeschlagenes MixRT Echtzeit-Rendering-Geschwindigkeiten auf Edge-Geräten (über 30 FPS bei einer Auflösung von 1280 x 720 auf einem MacBook M1 Pro Laptop), eine bessere Rendering-Qualität (0,2 PSNR höher in Innenraumszenen der Unbounded-360-Datensätze) und eine kleinere Speichergröße (weniger als 80 % im Vergleich zu state-of-the-art-Methoden).

English

Neural Radiance Field (NeRF) has emerged as a leading technique for novel view synthesis, owing to its impressive photorealistic reconstruction and rendering capability. Nevertheless, achieving real-time NeRF rendering in large-scale scenes has presented challenges, often leading to the adoption of either intricate baked mesh representations with a substantial number of triangles or resource-intensive ray marching in baked representations. We challenge these conventions, observing that high-quality geometry, represented by meshes with substantial triangles, is not necessary for achieving photorealistic rendering quality. Consequently, we propose MixRT, a novel NeRF representation that includes a low-quality mesh, a view-dependent displacement map, and a compressed NeRF model. This design effectively harnesses the capabilities of existing graphics hardware, thus enabling real-time NeRF rendering on edge devices. Leveraging a highly-optimized WebGL-based rendering framework, our proposed MixRT attains real-time rendering speeds on edge devices (over 30 FPS at a resolution of 1280 x 720 on a MacBook M1 Pro laptop), better rendering quality (0.2 PSNR higher in indoor scenes of the Unbounded-360 datasets), and a smaller storage size (less than 80% compared to state-of-the-art methods).