LightSpeed: Lichtgewicht en snelle neurale lichtvelden op mobiele apparaten

LightSpeed: Light and Fast Neural Light Fields on Mobile Devices

October 25, 2023

Auteurs: Aarush Gupta, Junli Cao, Chaoyang Wang, Ju Hu, Sergey Tulyakov, Jian Ren, László A Jeni

cs.AI

Samenvatting

Real-time synthese van nieuwe beelden op mobiele apparaten is niet haalbaar vanwege de beperkte rekenkracht en opslagcapaciteit. Het gebruik van volumetrische weergavemethoden, zoals NeRF en zijn afgeleiden, is niet geschikt voor mobiele apparaten vanwege de hoge rekenkosten van volumetrische weergave. Aan de andere kant hebben recente vooruitgangen in neurale lichtveldrepresentaties veelbelovende resultaten laten zien voor real-time viewsynthese op mobiele apparaten. Neurale lichtveldmethoden leren een directe mapping van een straalrepresentatie naar de pixelkleur. De huidige keuze voor straalrepresentatie is ofwel gelaagde straalbemonstering of Pl\"{u}cker-coördinaten, waarbij de klassieke lichtplaat (twee-vlak) representatie, de voorkeursrepresentatie voor interpolatie tussen lichtveldbeelden, over het hoofd wordt gezien. In dit werk tonen we aan dat het gebruik van de lichtplaatrepresentatie een efficiënte representatie is voor het leren van een neurale lichtveld. Belangrijker nog, het is een lagere-dimensionale straalrepresentatie die ons in staat stelt de 4D straalruimte te leren met behulp van feature grids die aanzienlijk sneller te trainen en weer te geven zijn. Hoewel voornamelijk ontworpen voor frontale beelden, laten we zien dat de lichtplaatrepresentatie verder kan worden uitgebreid naar niet-frontale scènes met behulp van een verdeel-en-heersstrategie. Onze methode biedt een superieure weergavekwaliteit in vergelijking met eerdere lichtveldmethoden en bereikt een aanzienlijk verbeterde balans tussen weergavekwaliteit en snelheid.

English

Real-time novel-view image synthesis on mobile devices is prohibitive due to the limited computational power and storage. Using volumetric rendering methods, such as NeRF and its derivatives, on mobile devices is not suitable due to the high computational cost of volumetric rendering. On the other hand, recent advances in neural light field representations have shown promising real-time view synthesis results on mobile devices. Neural light field methods learn a direct mapping from a ray representation to the pixel color. The current choice of ray representation is either stratified ray sampling or Pl\"{u}cker coordinates, overlooking the classic light slab (two-plane) representation, the preferred representation to interpolate between light field views. In this work, we find that using the light slab representation is an efficient representation for learning a neural light field. More importantly, it is a lower-dimensional ray representation enabling us to learn the 4D ray space using feature grids which are significantly faster to train and render. Although mostly designed for frontal views, we show that the light-slab representation can be further extended to non-frontal scenes using a divide-and-conquer strategy. Our method offers superior rendering quality compared to previous light field methods and achieves a significantly improved trade-off between rendering quality and speed.