AvatarReX: 실시간 표현적 전신 아바타
AvatarReX: Real-time Expressive Full-body Avatars
May 8, 2023
저자: Zerong Zheng, Xiaochen Zhao, Hongwen Zhang, Boning Liu, Yebin Liu
cs.AI
초록
본 논문에서는 비디오 데이터로부터 NeRF 기반 전신 아바타를 학습하는 새로운 방법인 AvatarReX를 제안한다. 학습된 아바타는 신체, 손, 얼굴을 함께 표현적으로 제어할 수 있을 뿐만 아니라 실시간 애니메이션 및 렌더링을 지원한다. 이를 위해, 우리는 신체, 손, 얼굴을 각각 별도로 모델링하는 구성적 아바타 표현을 제안하며, 이는 파라메트릭 메시 템플릿으로부터의 구조적 사전 정보를 표현 유연성을 저해하지 않으면서도 적절히 활용한다. 또한, 각 부분에 대해 기하학적 구조와 외관을 분리하여 기술적 설계를 진행한다. 이러한 기술적 설계를 바탕으로, 우리는 고품질의 자유 시점 이미지를 합성할 수 있는 실시간 프레임 속도로 실행 가능한 전용 지연 렌더링 파이프라인을 제안한다. 기하학적 구조와 외관의 분리는 또한 네트워크 학습을 위해 볼륨 렌더링과 표면 렌더링을 결합한 두 단계 학습 전략을 설계할 수 있게 한다. 이를 통해 패치 수준의 감독을 적용하여 네트워크가 기하학적 추정을 기반으로 선명한 외관 세부 사항을 학습하도록 강제할 수 있다. 전반적으로, 우리의 방법은 실시간 렌더링 기능을 갖춘 표현적인 전신 아바타의 자동 구성을 가능하게 하며, 새로운 신체 동작과 얼굴 표정에 대한 동적 세부 사항을 포함한 사실적인 이미지를 생성할 수 있다.
English
We present AvatarReX, a new method for learning NeRF-based full-body avatars
from video data. The learnt avatar not only provides expressive control of the
body, hands and the face together, but also supports real-time animation and
rendering. To this end, we propose a compositional avatar representation, where
the body, hands and the face are separately modeled in a way that the
structural prior from parametric mesh templates is properly utilized without
compromising representation flexibility. Furthermore, we disentangle the
geometry and appearance for each part. With these technical designs, we propose
a dedicated deferred rendering pipeline, which can be executed in real-time
framerate to synthesize high-quality free-view images. The disentanglement of
geometry and appearance also allows us to design a two-pass training strategy
that combines volume rendering and surface rendering for network training. In
this way, patch-level supervision can be applied to force the network to learn
sharp appearance details on the basis of geometry estimation. Overall, our
method enables automatic construction of expressive full-body avatars with
real-time rendering capability, and can generate photo-realistic images with
dynamic details for novel body motions and facial expressions.