LightSpeed : Champs de lumière neuronaux légers et rapides sur appareils mobiles

LightSpeed: Light and Fast Neural Light Fields on Mobile Devices

October 25, 2023

Auteurs: Aarush Gupta, Junli Cao, Chaoyang Wang, Ju Hu, Sergey Tulyakov, Jian Ren, László A Jeni

cs.AI

Résumé

La synthèse d'images en temps réel à partir de nouvelles vues sur des appareils mobiles est difficile en raison de la puissance de calcul et du stockage limités. L'utilisation de méthodes de rendu volumétrique, telles que NeRF et ses dérivés, sur des appareils mobiles n'est pas adaptée en raison du coût de calcul élevé du rendu volumétrique. D'autre part, les avancées récentes dans les représentations de champs lumineux neuronaux ont montré des résultats prometteurs pour la synthèse de vues en temps réel sur des appareils mobiles. Les méthodes de champs lumineux neuronaux apprennent une correspondance directe entre une représentation de rayon et la couleur du pixel. Le choix actuel de représentation de rayon est soit l'échantillonnage stratifié de rayons, soit les coordonnées de Plücker, négligeant la représentation classique de la dalle lumineuse (deux plans), qui est la représentation préférée pour interpoler entre les vues d'un champ lumineux. Dans ce travail, nous montrons que l'utilisation de la représentation de la dalle lumineuse est une représentation efficace pour l'apprentissage d'un champ lumineux neuronal. Plus important encore, il s'agit d'une représentation de rayon de dimension inférieure, nous permettant d'apprendre l'espace de rayons 4D à l'aide de grilles de caractéristiques qui sont considérablement plus rapides à entraîner et à rendre. Bien que principalement conçue pour des vues frontales, nous montrons que la représentation de la dalle lumineuse peut être étendue à des scènes non frontales en utilisant une stratégie de division pour mieux régner. Notre méthode offre une qualité de rendu supérieure par rapport aux méthodes précédentes de champs lumineux et atteint un compromis significativement amélioré entre la qualité de rendu et la vitesse.

English

Real-time novel-view image synthesis on mobile devices is prohibitive due to the limited computational power and storage. Using volumetric rendering methods, such as NeRF and its derivatives, on mobile devices is not suitable due to the high computational cost of volumetric rendering. On the other hand, recent advances in neural light field representations have shown promising real-time view synthesis results on mobile devices. Neural light field methods learn a direct mapping from a ray representation to the pixel color. The current choice of ray representation is either stratified ray sampling or Pl\"{u}cker coordinates, overlooking the classic light slab (two-plane) representation, the preferred representation to interpolate between light field views. In this work, we find that using the light slab representation is an efficient representation for learning a neural light field. More importantly, it is a lower-dimensional ray representation enabling us to learn the 4D ray space using feature grids which are significantly faster to train and render. Although mostly designed for frontal views, we show that the light-slab representation can be further extended to non-frontal scenes using a divide-and-conquer strategy. Our method offers superior rendering quality compared to previous light field methods and achieves a significantly improved trade-off between rendering quality and speed.