DNA-Rendering: 高忠実度人間中心レンダリングのための多様なニューラルアクターレポジトリ

DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering

July 19, 2023

著者: Wei Cheng, Ruixiang Chen, Wanqi Yin, Siming Fan, Keyu Chen, Honglin He, Huiwen Luo, Zhongang Cai, Jingbo Wang, Yang Gao, Zhengming Yu, Zhengyu Lin, Daxuan Ren, Lei Yang, Ziwei Liu, Chen Change Loy, Chen Qian, Wayne Wu, Dahua Lin, Bo Dai, Kwan-Yee Lin

cs.AI

要旨

現実的な人間中心のレンダリングは、コンピュータビジョンとコンピュータグラフィックスの両方において重要な役割を果たしています。アルゴリズムの面では近年急速な進展が見られていますが、既存の人間中心のレンダリングデータセットとベンチマークは、レンダリング効果にとって重要な多様性の点で乏しい状況です。研究者は通常、現在のデータセット上で限られたレンダリング問題の探索と評価に制約されており、現実世界のアプリケーションでは、異なるシナリオにわたる堅牢性が求められます。本研究では、ニューラルアクターレンダリングのための大規模で高忠実度な人間のパフォーマンスデータリポジトリであるDNA-Renderingを紹介します。DNA-Renderingはいくつかの魅力的な特徴を備えています。まず、私たちのデータセットには1500人以上の被験者、5000のモーションシーケンス、6750万フレームのデータ量が含まれています。次に、各被験者に対して豊富なアセットを提供します。2D/3D人体キーポイント、前景マスク、SMPLXモデル、衣服/アクセサリ素材、マルチビュー画像、およびビデオです。これらのアセットは、下流のレンダリングタスクにおける現在の手法の精度を向上させます。第三に、データをキャプチャするためのプロフェッショナルなマルチビューシステムを構築しました。このシステムは、最大4096 x 3000解像度、15 fps速度、厳格なカメラキャリブレーションステップを備えた60台の同期カメラを含み、タスクのトレーニングと評価のための高品質なリソースを保証します。データセットとともに、フルスケールでの大規模かつ定量的なベンチマークを提供し、新規視点合成、新規ポーズアニメーション合成、新規アイデンティティレンダリング手法の既存の進捗を評価するための複数のタスクを設定しました。本稿では、DNA-Renderingの取り組みを、人間中心のレンダリングにおける新たな観察、課題、そして将来の方向性を明らかにするものとして記述します。データセット、コード、およびベンチマークはhttps://dna-rendering.github.io/で公開されます。

English

Realistic human-centric rendering plays a key role in both computer vision and computer graphics. Rapid progress has been made in the algorithm aspect over the years, yet existing human-centric rendering datasets and benchmarks are rather impoverished in terms of diversity, which are crucial for rendering effect. Researchers are usually constrained to explore and evaluate a small set of rendering problems on current datasets, while real-world applications require methods to be robust across different scenarios. In this work, we present DNA-Rendering, a large-scale, high-fidelity repository of human performance data for neural actor rendering. DNA-Rendering presents several alluring attributes. First, our dataset contains over 1500 human subjects, 5000 motion sequences, and 67.5M frames' data volume. Second, we provide rich assets for each subject -- 2D/3D human body keypoints, foreground masks, SMPLX models, cloth/accessory materials, multi-view images, and videos. These assets boost the current method's accuracy on downstream rendering tasks. Third, we construct a professional multi-view system to capture data, which contains 60 synchronous cameras with max 4096 x 3000 resolution, 15 fps speed, and stern camera calibration steps, ensuring high-quality resources for task training and evaluation. Along with the dataset, we provide a large-scale and quantitative benchmark in full-scale, with multiple tasks to evaluate the existing progress of novel view synthesis, novel pose animation synthesis, and novel identity rendering methods. In this manuscript, we describe our DNA-Rendering effort as a revealing of new observations, challenges, and future directions to human-centric rendering. The dataset, code, and benchmarks will be publicly available at https://dna-rendering.github.io/