MixRT: Смешанные нейронные представления для рендеринга NeRF в реальном времени

MixRT: Mixed Neural Representations For Real-Time NeRF Rendering

December 19, 2023

Авторы: Chaojian Li, Bichen Wu, Peter Vajda, Yingyan, Lin

cs.AI

Аннотация

Нейронное поле излучения (NeRF) стало ведущей технологией для синтеза новых видов благодаря своей впечатляющей способности к фотореалистичной реконструкции и рендерингу. Однако достижение рендеринга NeRF в реальном времени для крупномасштабных сцен остается сложной задачей, что часто приводит к использованию либо сложных предварительно рассчитанных полигональных сеток с большим количеством треугольников, либо ресурсоемкого метода лучевого марша в предварительно рассчитанных представлениях. Мы оспариваем эти традиционные подходы, отмечая, что высококачественная геометрия, представленная сетками с большим количеством треугольников, не является необходимой для достижения фотореалистичного качества рендеринга. В связи с этим мы предлагаем MixRT — новое представление NeRF, которое включает низкокачественную сетку, карту смещений, зависящую от угла обзора, и сжатую модель NeRF. Этот дизайн эффективно использует возможности существующего графического оборудования, что позволяет реализовать рендеринг NeRF в реальном времени на устройствах с ограниченными ресурсами. Благодаря высокооптимизированной системе рендеринга на основе WebGL, наш подход MixRT достигает скорости рендеринга в реальном времени на устройствах (более 30 кадров в секунду при разрешении 1280 x 720 на ноутбуке MacBook M1 Pro), улучшенного качества рендеринга (на 0.2 PSNR выше в помещениях из набора данных Unbounded-360) и меньшего объема хранения (менее 80% по сравнению с современными методами).

English

Neural Radiance Field (NeRF) has emerged as a leading technique for novel view synthesis, owing to its impressive photorealistic reconstruction and rendering capability. Nevertheless, achieving real-time NeRF rendering in large-scale scenes has presented challenges, often leading to the adoption of either intricate baked mesh representations with a substantial number of triangles or resource-intensive ray marching in baked representations. We challenge these conventions, observing that high-quality geometry, represented by meshes with substantial triangles, is not necessary for achieving photorealistic rendering quality. Consequently, we propose MixRT, a novel NeRF representation that includes a low-quality mesh, a view-dependent displacement map, and a compressed NeRF model. This design effectively harnesses the capabilities of existing graphics hardware, thus enabling real-time NeRF rendering on edge devices. Leveraging a highly-optimized WebGL-based rendering framework, our proposed MixRT attains real-time rendering speeds on edge devices (over 30 FPS at a resolution of 1280 x 720 on a MacBook M1 Pro laptop), better rendering quality (0.2 PSNR higher in indoor scenes of the Unbounded-360 datasets), and a smaller storage size (less than 80% compared to state-of-the-art methods).