VideoRF: 동적 라디언스 필드를 2D 특징 비디오 스트림으로 렌더링하기

VideoRF: Rendering Dynamic Radiance Fields as 2D Feature Video Streams

December 3, 2023

저자: Liao Wang, Kaixin Yao, Chengcheng Guo, Zhirui Zhang, Qiang Hu, Jingyi Yu, Lan Xu, Minye Wu

cs.AI

초록

Neural Radiance Fields(NeRF)는 정적 장면을 사실적으로 렌더링하는 데 탁월한 성능을 보입니다. 그러나 보편적인 기기에서 동적이고 장기간의 radiance field를 렌더링하는 것은 데이터 저장 및 계산적 제약으로 인해 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 모바일 플랫폼에서 동적 radiance field의 실시간 스트리밍 및 렌더링을 가능하게 하는 첫 번째 접근 방식인 VideoRF를 소개합니다. 이 방법의 핵심은 4D radiance field를 하나로 표현하는 직렬화된 2D 특징 이미지 스트림입니다. 우리는 이 2D 도메인에 직접 적용되는 맞춤형 학습 방식을 도입하여 특징 이미지 스트림의 시간적 및 공간적 중복성을 부여합니다. 이러한 중복성을 활용함으로써, 특징 이미지 스트림이 2D 비디오 코덱을 통해 효율적으로 압축될 수 있음을 보여주며, 이를 통해 비디오 하드웨어 가속기를 활용하여 실시간 디코딩을 달성할 수 있습니다. 한편, 특징 이미지 스트림을 기반으로 VideoRF를 위한 새로운 렌더링 파이프라인을 제안합니다. 이 파이프라인은 radiance 속성을 효율적으로 조회하기 위한 특수한 공간 매핑을 갖추고 있습니다. 지연 쉐이딩 모델과 결합된 VideoRF는 그 효율성 덕분에 모바일 기기에서도 실시간 렌더링이 가능합니다. 우리는 데스크톱부터 스마트폰까지 다양한 기기에서 동적 장면의 온라인 스트리밍 및 렌더링을 가능하게 하는 실시간 인터랙티브 플레이어를 개발하여, 원활하고 몰입감 있는 자유 시점 경험을 제공합니다.

English

Neural Radiance Fields (NeRFs) excel in photorealistically rendering static scenes. However, rendering dynamic, long-duration radiance fields on ubiquitous devices remains challenging, due to data storage and computational constraints. In this paper, we introduce VideoRF, the first approach to enable real-time streaming and rendering of dynamic radiance fields on mobile platforms. At the core is a serialized 2D feature image stream representing the 4D radiance field all in one. We introduce a tailored training scheme directly applied to this 2D domain to impose the temporal and spatial redundancy of the feature image stream. By leveraging the redundancy, we show that the feature image stream can be efficiently compressed by 2D video codecs, which allows us to exploit video hardware accelerators to achieve real-time decoding. On the other hand, based on the feature image stream, we propose a novel rendering pipeline for VideoRF, which has specialized space mappings to query radiance properties efficiently. Paired with a deferred shading model, VideoRF has the capability of real-time rendering on mobile devices thanks to its efficiency. We have developed a real-time interactive player that enables online streaming and rendering of dynamic scenes, offering a seamless and immersive free-viewpoint experience across a range of devices, from desktops to mobile phones.