LightSpeed: Campos de Luz Neurales Ligeros y Rápidos en Dispositivos Móviles

LightSpeed: Light and Fast Neural Light Fields on Mobile Devices

October 25, 2023

Autores: Aarush Gupta, Junli Cao, Chaoyang Wang, Ju Hu, Sergey Tulyakov, Jian Ren, László A Jeni

cs.AI

Resumen

La síntesis de imágenes de nuevas vistas en tiempo real en dispositivos móviles es prohibitiva debido al limitado poder computacional y almacenamiento. El uso de métodos de renderizado volumétrico, como NeRF y sus derivados, en dispositivos móviles no es adecuado debido al alto costo computacional del renderizado volumétrico. Por otro lado, los avances recientes en representaciones de campos de luz neuronales han mostrado resultados prometedores en la síntesis de vistas en tiempo real en dispositivos móviles. Los métodos de campos de luz neuronales aprenden un mapeo directo desde una representación de rayos al color del píxel. La elección actual de representación de rayos es el muestreo estratificado de rayos o las coordenadas de Pl\"{u}cker, pasando por alto la clásica representación de losa de luz (dos planos), la representación preferida para interpolar entre vistas de campos de luz. En este trabajo, encontramos que el uso de la representación de losa de luz es una representación eficiente para aprender un campo de luz neuronal. Más importante aún, es una representación de rayos de menor dimensión que nos permite aprender el espacio de rayos 4D utilizando cuadrículas de características que son significativamente más rápidas de entrenar y renderizar. Aunque principalmente diseñada para vistas frontales, demostramos que la representación de losa de luz puede extenderse aún más a escenas no frontales utilizando una estrategia de divide y vencerás. Nuestro método ofrece una calidad de renderizado superior en comparación con los métodos anteriores de campos de luz y logra un equilibrio significativamente mejorado entre la calidad de renderizado y la velocidad.

English

Real-time novel-view image synthesis on mobile devices is prohibitive due to the limited computational power and storage. Using volumetric rendering methods, such as NeRF and its derivatives, on mobile devices is not suitable due to the high computational cost of volumetric rendering. On the other hand, recent advances in neural light field representations have shown promising real-time view synthesis results on mobile devices. Neural light field methods learn a direct mapping from a ray representation to the pixel color. The current choice of ray representation is either stratified ray sampling or Pl\"{u}cker coordinates, overlooking the classic light slab (two-plane) representation, the preferred representation to interpolate between light field views. In this work, we find that using the light slab representation is an efficient representation for learning a neural light field. More importantly, it is a lower-dimensional ray representation enabling us to learn the 4D ray space using feature grids which are significantly faster to train and render. Although mostly designed for frontal views, we show that the light-slab representation can be further extended to non-frontal scenes using a divide-and-conquer strategy. Our method offers superior rendering quality compared to previous light field methods and achieves a significantly improved trade-off between rendering quality and speed.