MixRT : Représentations neuronales mixtes pour le rendu NeRF en temps réel

MixRT: Mixed Neural Representations For Real-Time NeRF Rendering

December 19, 2023

Auteurs: Chaojian Li, Bichen Wu, Peter Vajda, Yingyan, Lin

cs.AI

Résumé

Le Neural Radiance Field (NeRF) s'est imposé comme une technique de pointe pour la synthèse de nouvelles vues, grâce à ses capacités impressionnantes de reconstruction et de rendu photoréalistes. Cependant, la réalisation d'un rendu NeRF en temps réel dans des scènes à grande échelle a posé des défis, conduisant souvent à l'adoption soit de représentations complexes de maillages précalculés avec un nombre important de triangles, soit de techniques de ray marching gourmandes en ressources dans des représentations précalculées. Nous remettons en question ces conventions, en observant qu'une géométrie de haute qualité, représentée par des maillages comportant un grand nombre de triangles, n'est pas nécessaire pour atteindre une qualité de rendu photoréaliste. Par conséquent, nous proposons MixRT, une nouvelle représentation NeRF qui inclut un maillage de faible qualité, une carte de déplacement dépendante de la vue et un modèle NeRF compressé. Cette conception exploite efficacement les capacités du matériel graphique existant, permettant ainsi un rendu NeRF en temps réel sur des appareils embarqués. En s'appuyant sur un framework de rendu hautement optimisé basé sur WebGL, notre proposition MixRT atteint des vitesses de rendu en temps réel sur des appareils embarqués (plus de 30 FPS à une résolution de 1280 x 720 sur un MacBook M1 Pro), une meilleure qualité de rendu (0,2 PSNR de plus dans les scènes intérieures des jeux de données Unbounded-360) et une taille de stockage réduite (moins de 80 % par rapport aux méthodes de pointe).

English

Neural Radiance Field (NeRF) has emerged as a leading technique for novel view synthesis, owing to its impressive photorealistic reconstruction and rendering capability. Nevertheless, achieving real-time NeRF rendering in large-scale scenes has presented challenges, often leading to the adoption of either intricate baked mesh representations with a substantial number of triangles or resource-intensive ray marching in baked representations. We challenge these conventions, observing that high-quality geometry, represented by meshes with substantial triangles, is not necessary for achieving photorealistic rendering quality. Consequently, we propose MixRT, a novel NeRF representation that includes a low-quality mesh, a view-dependent displacement map, and a compressed NeRF model. This design effectively harnesses the capabilities of existing graphics hardware, thus enabling real-time NeRF rendering on edge devices. Leveraging a highly-optimized WebGL-based rendering framework, our proposed MixRT attains real-time rendering speeds on edge devices (over 30 FPS at a resolution of 1280 x 720 on a MacBook M1 Pro laptop), better rendering quality (0.2 PSNR higher in indoor scenes of the Unbounded-360 datasets), and a smaller storage size (less than 80% compared to state-of-the-art methods).