LightSpeed: Leichte und schnelle neuronale Lichtfelder auf Mobilgeräten

LightSpeed: Light and Fast Neural Light Fields on Mobile Devices

October 25, 2023

Autoren: Aarush Gupta, Junli Cao, Chaoyang Wang, Ju Hu, Sergey Tulyakov, Jian Ren, László A Jeni

cs.AI

Zusammenfassung

Die Echtzeit-Synthese von Bildern aus neuen Blickwinkeln auf mobilen Geräten ist aufgrund der begrenzten Rechenleistung und Speicherkapazität nur schwer realisierbar. Die Verwendung volumetrischer Rendering-Methoden wie NeRF und dessen Ableitungen auf mobilen Geräten ist aufgrund des hohen Rechenaufwands des volumetrischen Renderings nicht geeignet. Andererseits haben jüngste Fortschritte in der Darstellung von neuronalen Lichtfeldern vielversprechende Ergebnisse für die Echtzeit-Blicksynthese auf mobilen Geräten gezeigt. Neuronale Lichtfeldmethoden lernen eine direkte Abbildung von einer Strahldarstellung zur Pixel-Farbe. Die derzeitige Wahl der Strahldarstellung ist entweder geschichtete Strahlenabtastung oder Plücker-Koordinaten, wobei die klassische Lichtschicht-Zwei-Ebenen-Darstellung, die bevorzugte Darstellung zur Interpolation zwischen Lichtfeldansichten, übersehen wird. In dieser Arbeit stellen wir fest, dass die Verwendung der Lichtschicht-Darstellung eine effiziente Darstellung für das Lernen eines neuronalen Lichtfelds ist. Noch wichtiger ist, dass es sich um eine niedrigdimensionale Strahldarstellung handelt, die es uns ermöglicht, den 4D-Strahlraum mithilfe von Feature-Grids zu lernen, die deutlich schneller zu trainieren und zu rendern sind. Obwohl hauptsächlich für Frontalansichten konzipiert, zeigen wir, dass die Lichtschicht-Darstellung weiter auf nicht-frontale Szenen erweitert werden kann, indem eine Divide-and-Conquer-Strategie angewendet wird. Unsere Methode bietet eine überlegene Rendering-Qualität im Vergleich zu früheren Lichtfeldmethoden und erreicht ein deutlich verbessertes Verhältnis zwischen Rendering-Qualität und Geschwindigkeit.

English

Real-time novel-view image synthesis on mobile devices is prohibitive due to the limited computational power and storage. Using volumetric rendering methods, such as NeRF and its derivatives, on mobile devices is not suitable due to the high computational cost of volumetric rendering. On the other hand, recent advances in neural light field representations have shown promising real-time view synthesis results on mobile devices. Neural light field methods learn a direct mapping from a ray representation to the pixel color. The current choice of ray representation is either stratified ray sampling or Pl\"{u}cker coordinates, overlooking the classic light slab (two-plane) representation, the preferred representation to interpolate between light field views. In this work, we find that using the light slab representation is an efficient representation for learning a neural light field. More importantly, it is a lower-dimensional ray representation enabling us to learn the 4D ray space using feature grids which are significantly faster to train and render. Although mostly designed for frontal views, we show that the light-slab representation can be further extended to non-frontal scenes using a divide-and-conquer strategy. Our method offers superior rendering quality compared to previous light field methods and achieves a significantly improved trade-off between rendering quality and speed.