DNA-Rendering : Un Répertoire Diversifié d'Acteurs Neuronaux pour un Rendue Haute Fidélité Centré sur l'Humain

DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering

July 19, 2023

Auteurs: Wei Cheng, Ruixiang Chen, Wanqi Yin, Siming Fan, Keyu Chen, Honglin He, Huiwen Luo, Zhongang Cai, Jingbo Wang, Yang Gao, Zhengming Yu, Zhengyu Lin, Daxuan Ren, Lei Yang, Ziwei Liu, Chen Change Loy, Chen Qian, Wayne Wu, Dahua Lin, Bo Dai, Kwan-Yee Lin

cs.AI

Résumé

Le rendu réaliste centré sur l'humain joue un rôle clé à la fois en vision par ordinateur et en infographie. Des progrès rapides ont été réalisés ces dernières années sur le plan algorithmique, mais les ensembles de données et les benchmarks existants pour le rendu centré sur l'humain manquent cruellement de diversité, pourtant cruciale pour l'effet de rendu. Les chercheurs sont généralement contraints d'explorer et d'évaluer un ensemble restreint de problèmes de rendu sur les ensembles de données actuels, alors que les applications réelles nécessitent des méthodes robustes dans différents scénarios. Dans ce travail, nous présentons DNA-Rendering, un référentiel à grande échelle et haute fidélité de données de performance humaine pour le rendu d'acteurs neuronaux. DNA-Rendering présente plusieurs attributs attrayants. Premièrement, notre ensemble de données contient plus de 1500 sujets humains, 5000 séquences de mouvement et un volume de données de 67,5 millions d'images. Deuxièmement, nous fournissons des ressources riches pour chaque sujet : points clés 2D/3D du corps humain, masques de premier plan, modèles SMPLX, matériaux de vêtements/accessoires, images multi-vues et vidéos. Ces ressources améliorent la précision des méthodes actuelles sur les tâches de rendu en aval. Troisièmement, nous avons construit un système multi-vues professionnel pour capturer les données, comprenant 60 caméras synchrones avec une résolution maximale de 4096 x 3000, une vitesse de 15 images par seconde et des étapes rigoureuses de calibration des caméras, garantissant des ressources de haute qualité pour l'entraînement et l'évaluation des tâches. En parallèle de l'ensemble de données, nous fournissons un benchmark quantitatif à grande échelle, avec plusieurs tâches pour évaluer les progrès actuels en synthèse de nouvelles vues, synthèse d'animation de nouvelles poses et rendu de nouvelles identités. Dans ce manuscrit, nous décrivons notre effort DNA-Rendering comme une révélation de nouvelles observations, défis et directions futures pour le rendu centré sur l'humain. L'ensemble de données, le code et les benchmarks seront disponibles publiquement à l'adresse https://dna-rendering.github.io/

English

Realistic human-centric rendering plays a key role in both computer vision and computer graphics. Rapid progress has been made in the algorithm aspect over the years, yet existing human-centric rendering datasets and benchmarks are rather impoverished in terms of diversity, which are crucial for rendering effect. Researchers are usually constrained to explore and evaluate a small set of rendering problems on current datasets, while real-world applications require methods to be robust across different scenarios. In this work, we present DNA-Rendering, a large-scale, high-fidelity repository of human performance data for neural actor rendering. DNA-Rendering presents several alluring attributes. First, our dataset contains over 1500 human subjects, 5000 motion sequences, and 67.5M frames' data volume. Second, we provide rich assets for each subject -- 2D/3D human body keypoints, foreground masks, SMPLX models, cloth/accessory materials, multi-view images, and videos. These assets boost the current method's accuracy on downstream rendering tasks. Third, we construct a professional multi-view system to capture data, which contains 60 synchronous cameras with max 4096 x 3000 resolution, 15 fps speed, and stern camera calibration steps, ensuring high-quality resources for task training and evaluation. Along with the dataset, we provide a large-scale and quantitative benchmark in full-scale, with multiple tasks to evaluate the existing progress of novel view synthesis, novel pose animation synthesis, and novel identity rendering methods. In this manuscript, we describe our DNA-Rendering effort as a revealing of new observations, challenges, and future directions to human-centric rendering. The dataset, code, and benchmarks will be publicly available at https://dna-rendering.github.io/