AvatarReX: リアルタイム表現型フルボディアバター
AvatarReX: Real-time Expressive Full-body Avatars
May 8, 2023
著者: Zerong Zheng, Xiaochen Zhao, Hongwen Zhang, Boning Liu, Yebin Liu
cs.AI
要旨
本論文では、ビデオデータからNeRFベースの全身アバターを学習する新しい手法であるAvatarReXを提案します。学習されたアバターは、身体、手、顔をまとめて表現豊かに制御できるだけでなく、リアルタイムのアニメーションとレンダリングをサポートします。この目的のために、身体、手、顔を別々にモデル化し、パラメトリックメッシュテンプレートからの構造的先行知識を適切に活用しながら、表現の柔軟性を損なわないような構成的なアバター表現を提案します。さらに、各部位の形状と外観を分離します。これらの技術的設計により、高品質な自由視点画像をリアルタイムフレームレートで合成するための専用の遅延レンダリングパイプラインを提案します。形状と外観の分離により、ネットワーク学習においてボリュームレンダリングとサーフェスレンダリングを組み合わせた2段階の学習戦略を設計することが可能になります。これにより、ジオメトリ推定に基づいてシャープな外観の詳細を学習するようネットワークに強制するパッチレベルの監視を適用できます。全体として、本手法はリアルタイムレンダリング機能を備えた表現豊かな全身アバターの自動構築を可能にし、新しい身体の動きや表情に対して動的なディテールを伴ったフォトリアルな画像を生成することができます。
English
We present AvatarReX, a new method for learning NeRF-based full-body avatars
from video data. The learnt avatar not only provides expressive control of the
body, hands and the face together, but also supports real-time animation and
rendering. To this end, we propose a compositional avatar representation, where
the body, hands and the face are separately modeled in a way that the
structural prior from parametric mesh templates is properly utilized without
compromising representation flexibility. Furthermore, we disentangle the
geometry and appearance for each part. With these technical designs, we propose
a dedicated deferred rendering pipeline, which can be executed in real-time
framerate to synthesize high-quality free-view images. The disentanglement of
geometry and appearance also allows us to design a two-pass training strategy
that combines volume rendering and surface rendering for network training. In
this way, patch-level supervision can be applied to force the network to learn
sharp appearance details on the basis of geometry estimation. Overall, our
method enables automatic construction of expressive full-body avatars with
real-time rendering capability, and can generate photo-realistic images with
dynamic details for novel body motions and facial expressions.