LightSpeed: Campos de Luz Neural Leves e Rápidos em Dispositivos Móveis

LightSpeed: Light and Fast Neural Light Fields on Mobile Devices

October 25, 2023

Autores: Aarush Gupta, Junli Cao, Chaoyang Wang, Ju Hu, Sergey Tulyakov, Jian Ren, László A Jeni

cs.AI

Resumo

A síntese de imagens de novas perspectivas em tempo real em dispositivos móveis é proibitiva devido ao poder computacional e armazenamento limitados. O uso de métodos de renderização volumétrica, como NeRF e seus derivados, em dispositivos móveis não é adequado devido ao alto custo computacional da renderização volumétrica. Por outro lado, avanços recentes em representações de campos de luz neurais têm mostrado resultados promissores na síntese de visão em tempo real em dispositivos móveis. Os métodos de campo de luz neural aprendem um mapeamento direto de uma representação de raio para a cor do pixel. A escolha atual de representação de raio é a amostragem estratificada de raios ou as coordenadas de Pl\"{u}cker, negligenciando a clássica representação de lâmina de luz (dois planos), a representação preferida para interpolar entre as visões do campo de luz. Neste trabalho, descobrimos que o uso da representação de lâmina de luz é uma representação eficiente para aprender um campo de luz neural. Mais importante ainda, é uma representação de raio de menor dimensão que nos permite aprender o espaço de raio 4D usando grades de características que são significativamente mais rápidas de treinar e renderizar. Embora projetada principalmente para visões frontais, mostramos que a representação de lâmina de luz pode ser ainda mais estendida para cenas não frontais usando uma estratégia de dividir e conquistar. Nosso método oferece qualidade de renderização superior em comparação com métodos anteriores de campo de luz e alcança uma relação significativamente melhorada entre qualidade de renderização e velocidade.

English

Real-time novel-view image synthesis on mobile devices is prohibitive due to the limited computational power and storage. Using volumetric rendering methods, such as NeRF and its derivatives, on mobile devices is not suitable due to the high computational cost of volumetric rendering. On the other hand, recent advances in neural light field representations have shown promising real-time view synthesis results on mobile devices. Neural light field methods learn a direct mapping from a ray representation to the pixel color. The current choice of ray representation is either stratified ray sampling or Pl\"{u}cker coordinates, overlooking the classic light slab (two-plane) representation, the preferred representation to interpolate between light field views. In this work, we find that using the light slab representation is an efficient representation for learning a neural light field. More importantly, it is a lower-dimensional ray representation enabling us to learn the 4D ray space using feature grids which are significantly faster to train and render. Although mostly designed for frontal views, we show that the light-slab representation can be further extended to non-frontal scenes using a divide-and-conquer strategy. Our method offers superior rendering quality compared to previous light field methods and achieves a significantly improved trade-off between rendering quality and speed.