HumanRF: 동작 중인 인간을 위한 고해상도 신경 방사 필드

HumanRF: High-Fidelity Neural Radiance Fields for Humans in Motion

May 10, 2023

저자: Mustafa Işık, Martin Rünz, Markos Georgopoulos, Taras Khakhulin, Jonathan Starck, Lourdes Agapito, Matthias Nießner

cs.AI

초록

고해상도 인간 성능 표현은 영화 제작, 컴퓨터 게임, 화상 회의 등 다양한 애플리케이션에서 필수적인 구성 요소입니다. 프로덕션 수준의 품질에 근접하기 위해, 우리는 HumanRF를 소개합니다. 이는 다중 뷰 비디오 입력으로부터 움직임 중인 전신 외관을 포착하고, 새로운, 보지 못한 시점에서의 재생을 가능하게 하는 4D 동적 신경망 장면 표현입니다. 우리의 새로운 표현은 시공간을 시간적 행렬-벡터 분해로 인수분해함으로써 높은 압축률에서도 세부 사항을 포착하는 동적 비디오 인코딩으로 작동합니다. 이를 통해 긴 시퀀스에 걸쳐 인간 배우의 시간적 일관성을 유지한 재구성을 얻을 수 있으며, 도전적인 움직임 상황에서도 고해상도 세부 사항을 표현할 수 있습니다. 대부분의 연구가 4MP 이하의 해상도에서 합성에 초점을 맞추는 반면, 우리는 12MP에서 작동하는 도전 과제를 해결합니다. 이를 위해, 우리는 ActorsHQ라는 새로운 다중 뷰 데이터셋을 소개합니다. 이 데이터셋은 160대의 카메라로부터 16개의 시퀀스에 대해 12MP 영상을 제공하며, 고해상도의 프레임별 메쉬 재구성을 포함합니다. 우리는 이러한 고해상도 데이터 사용에서 발생하는 도전 과제를 보여주고, 새로 소개된 HumanRF가 이 데이터를 효과적으로 활용하여 프로덕션 수준 품질의 새로운 시점 합성에 중요한 진전을 이루었음을 입증합니다.

English

Representing human performance at high-fidelity is an essential building block in diverse applications, such as film production, computer games or videoconferencing. To close the gap to production-level quality, we introduce HumanRF, a 4D dynamic neural scene representation that captures full-body appearance in motion from multi-view video input, and enables playback from novel, unseen viewpoints. Our novel representation acts as a dynamic video encoding that captures fine details at high compression rates by factorizing space-time into a temporal matrix-vector decomposition. This allows us to obtain temporally coherent reconstructions of human actors for long sequences, while representing high-resolution details even in the context of challenging motion. While most research focuses on synthesizing at resolutions of 4MP or lower, we address the challenge of operating at 12MP. To this end, we introduce ActorsHQ, a novel multi-view dataset that provides 12MP footage from 160 cameras for 16 sequences with high-fidelity, per-frame mesh reconstructions. We demonstrate challenges that emerge from using such high-resolution data and show that our newly introduced HumanRF effectively leverages this data, making a significant step towards production-level quality novel view synthesis.