LightSpeed: Легкие и быстрые нейронные поля освещения на мобильных устройствах

LightSpeed: Light and Fast Neural Light Fields on Mobile Devices

October 25, 2023

Авторы: Aarush Gupta, Junli Cao, Chaoyang Wang, Ju Hu, Sergey Tulyakov, Jian Ren, László A Jeni

cs.AI

Аннотация

Синтез изображений с новых ракурсов в реальном времени на мобильных устройствах является сложной задачей из-за ограниченной вычислительной мощности и объема памяти. Использование методов объемного рендеринга, таких как NeRF и его производные, на мобильных устройствах не подходит из-за высокой вычислительной стоимости объемного рендеринга. С другой стороны, последние достижения в области нейронных представлений светового поля демонстрируют многообещающие результаты синтеза изображений в реальном времени на мобильных устройствах. Методы нейронного светового поля обучают прямое отображение из представления лучей в цвет пикселя. В настоящее время выбор представления лучей ограничен либо стратифицированной выборкой лучей, либо координатами Плюккера, игнорируя классическое представление светового поля в виде двух плоскостей (light slab), которое является предпочтительным для интерполяции между видами светового поля. В данной работе мы показываем, что использование представления light slab является эффективным для обучения нейронного светового поля. Более того, это представление лучей с меньшей размерностью, что позволяет нам обучать 4D пространство лучей с использованием сеток признаков, которые значительно быстрее обучаются и рендерятся. Хотя это представление в основном разработано для фронтальных видов, мы демонстрируем, что его можно расширить на не фронтальные сцены с использованием стратегии "разделяй и властвуй". Наш метод обеспечивает превосходное качество рендеринга по сравнению с предыдущими методами светового поля и достигает значительно улучшенного баланса между качеством рендеринга и скоростью.

English

Real-time novel-view image synthesis on mobile devices is prohibitive due to the limited computational power and storage. Using volumetric rendering methods, such as NeRF and its derivatives, on mobile devices is not suitable due to the high computational cost of volumetric rendering. On the other hand, recent advances in neural light field representations have shown promising real-time view synthesis results on mobile devices. Neural light field methods learn a direct mapping from a ray representation to the pixel color. The current choice of ray representation is either stratified ray sampling or Pl\"{u}cker coordinates, overlooking the classic light slab (two-plane) representation, the preferred representation to interpolate between light field views. In this work, we find that using the light slab representation is an efficient representation for learning a neural light field. More importantly, it is a lower-dimensional ray representation enabling us to learn the 4D ray space using feature grids which are significantly faster to train and render. Although mostly designed for frontal views, we show that the light-slab representation can be further extended to non-frontal scenes using a divide-and-conquer strategy. Our method offers superior rendering quality compared to previous light field methods and achieves a significantly improved trade-off between rendering quality and speed.