MixRT: Representações Neurais Mistas para Renderização em Tempo Real com NeRF

MixRT: Mixed Neural Representations For Real-Time NeRF Rendering

December 19, 2023

Autores: Chaojian Li, Bichen Wu, Peter Vajda, Yingyan, Lin

cs.AI

Resumo

O Neural Radiance Field (NeRF) emergiu como uma técnica líder para síntese de novas visões, graças à sua impressionante capacidade de reconstrução e renderização fotorrealista. No entanto, alcançar a renderização em tempo real de NeRF em cenas de grande escala tem apresentado desafios, frequentemente levando à adoção de representações complexas de malhas pré-processadas com um número substancial de triângulos ou ao uso intensivo de recursos em representações pré-processadas por meio de ray marching. Nós questionamos essas convenções, observando que geometria de alta qualidade, representada por malhas com muitos triângulos, não é necessária para alcançar qualidade fotorrealista na renderização. Consequentemente, propomos o MixRT, uma nova representação de NeRF que inclui uma malha de baixa qualidade, um mapa de deslocamento dependente da visão e um modelo NeRF comprimido. Esse design aproveita efetivamente as capacidades do hardware gráfico existente, permitindo assim a renderização em tempo real de NeRF em dispositivos de borda. Utilizando um framework de renderização altamente otimizado baseado em WebGL, nosso MixRT proposto alcança velocidades de renderização em tempo real em dispositivos de borda (mais de 30 FPS em uma resolução de 1280 x 720 em um laptop MacBook M1 Pro), melhor qualidade de renderização (0,2 PSNR maior em cenas internas dos conjuntos de dados Unbounded-360) e um tamanho de armazenamento menor (menos de 80% em comparação com os métodos state-of-the-art).

English

Neural Radiance Field (NeRF) has emerged as a leading technique for novel view synthesis, owing to its impressive photorealistic reconstruction and rendering capability. Nevertheless, achieving real-time NeRF rendering in large-scale scenes has presented challenges, often leading to the adoption of either intricate baked mesh representations with a substantial number of triangles or resource-intensive ray marching in baked representations. We challenge these conventions, observing that high-quality geometry, represented by meshes with substantial triangles, is not necessary for achieving photorealistic rendering quality. Consequently, we propose MixRT, a novel NeRF representation that includes a low-quality mesh, a view-dependent displacement map, and a compressed NeRF model. This design effectively harnesses the capabilities of existing graphics hardware, thus enabling real-time NeRF rendering on edge devices. Leveraging a highly-optimized WebGL-based rendering framework, our proposed MixRT attains real-time rendering speeds on edge devices (over 30 FPS at a resolution of 1280 x 720 on a MacBook M1 Pro laptop), better rendering quality (0.2 PSNR higher in indoor scenes of the Unbounded-360 datasets), and a smaller storage size (less than 80% compared to state-of-the-art methods).