LightSpeed: 모바일 기기에서의 가볍고 빠른 신경 광학장

LightSpeed: Light and Fast Neural Light Fields on Mobile Devices

October 25, 2023

저자: Aarush Gupta, Junli Cao, Chaoyang Wang, Ju Hu, Sergey Tulyakov, Jian Ren, László A Jeni

cs.AI

초록

모바일 기기에서 실시간으로 새로운 시점의 이미지를 합성하는 것은 제한된 계산 능력과 저장 공간으로 인해 현실적으로 어려운 과제입니다. NeRF와 그 파생 기술과 같은 볼륨 렌더링 방법은 높은 계산 비용으로 인해 모바일 기기에 적합하지 않습니다. 반면, 최근 신경 광장(neural light field) 표현 기술의 발전으로 모바일 기기에서 실시간 시점 합성 결과가 가능해졌습니다. 신경 광장 방법은 광선 표현에서 픽셀 색상으로의 직접적인 매핑을 학습합니다. 현재 광선 표현으로는 층화된 광선 샘플링(stratified ray sampling) 또는 플뤼커 좌표(Pl\"{u}cker coordinates)가 사용되고 있으나, 광장 뷰 간 보간에 선호되는 고전적인 광 슬래브(light slab, 두 평면) 표현은 간과되고 있습니다. 본 연구에서는 광 슬래브 표현이 신경 광장을 학습하는 데 효율적인 표현임을 발견했습니다. 더 중요한 것은, 이 표현이 더 낮은 차원의 광선 표현으로, 특징 그리드(feature grid)를 사용하여 4D 광선 공간을 학습할 수 있게 하며, 이는 학습과 렌더링 속도를 크게 향상시킵니다. 주로 정면 뷰를 위해 설계되었지만, 분할 정복(divide-and-conquer) 전략을 통해 비정면 장면으로도 확장 가능함을 보여줍니다. 우리의 방법은 기존 광장 방법보다 우수한 렌더링 품질을 제공하며, 렌더링 품질과 속도 간의 균형을 크게 개선했습니다.

English

Real-time novel-view image synthesis on mobile devices is prohibitive due to the limited computational power and storage. Using volumetric rendering methods, such as NeRF and its derivatives, on mobile devices is not suitable due to the high computational cost of volumetric rendering. On the other hand, recent advances in neural light field representations have shown promising real-time view synthesis results on mobile devices. Neural light field methods learn a direct mapping from a ray representation to the pixel color. The current choice of ray representation is either stratified ray sampling or Pl\"{u}cker coordinates, overlooking the classic light slab (two-plane) representation, the preferred representation to interpolate between light field views. In this work, we find that using the light slab representation is an efficient representation for learning a neural light field. More importantly, it is a lower-dimensional ray representation enabling us to learn the 4D ray space using feature grids which are significantly faster to train and render. Although mostly designed for frontal views, we show that the light-slab representation can be further extended to non-frontal scenes using a divide-and-conquer strategy. Our method offers superior rendering quality compared to previous light field methods and achieves a significantly improved trade-off between rendering quality and speed.