TalkinNeRF: フルボディの話す人間のためのアニメータブルニューラルフィールド

TalkinNeRF: Animatable Neural Fields for Full-Body Talking Humans

September 25, 2024

著者: Aggelina Chatziagapi, Bindita Chaudhuri, Amit Kumar, Rakesh Ranjan, Dimitris Samaras, Nikolaos Sarafianos

cs.AI

要旨

モノクル動画から全身を話す人間のための動的ニューラル輝度場（NeRF）を学習する新しいフレームワークを紹介します。これまでの研究では、体のポーズまたは顔のみを表現していました。しかし、人間は体のポーズ、手のジェスチャー、そして表情を組み合わせてコミュニケーションを行います。本研究では、全身の話す人間のための統合NeRFベースのネットワークであるTalkinNeRFを提案します。被写体のモノクル動画が与えられた場合、体、顔、および手の対応するモジュールを学習し、それらを組み合わせて最終結果を生成します。複雑な指の関節を捉えるために、手のための追加の変形フィールドを学習します。複数の被写体の同時トレーニングを可能にする多重アイデンティティ表現により、完全に未知のポーズ下での堅牢なアニメーションや、入力として短いビデオのみが与えられた場合の新しいアイデンティティへの汎化も実現します。細かい手の関節運動と表情を持つ全身を話す人間のアニメーションにおいて、最先端のパフォーマンスを実証します。

English

We introduce a novel framework that learns a dynamic neural radiance field (NeRF) for full-body talking humans from monocular videos. Prior work represents only the body pose or the face. However, humans communicate with their full body, combining body pose, hand gestures, as well as facial expressions. In this work, we propose TalkinNeRF, a unified NeRF-based network that represents the holistic 4D human motion. Given a monocular video of a subject, we learn corresponding modules for the body, face, and hands, that are combined together to generate the final result. To capture complex finger articulation, we learn an additional deformation field for the hands. Our multi-identity representation enables simultaneous training for multiple subjects, as well as robust animation under completely unseen poses. It can also generalize to novel identities, given only a short video as input. We demonstrate state-of-the-art performance for animating full-body talking humans, with fine-grained hand articulation and facial expressions.