DNA-Rendering: Un Repositorio Diverso de Actores Neuronales para la Representación de Alta Fidelidad Centrada en Humanos

DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering

July 19, 2023

Autores: Wei Cheng, Ruixiang Chen, Wanqi Yin, Siming Fan, Keyu Chen, Honglin He, Huiwen Luo, Zhongang Cai, Jingbo Wang, Yang Gao, Zhengming Yu, Zhengyu Lin, Daxuan Ren, Lei Yang, Ziwei Liu, Chen Change Loy, Chen Qian, Wayne Wu, Dahua Lin, Bo Dai, Kwan-Yee Lin

cs.AI

Resumen

El renderizado realista centrado en humanos desempeña un papel clave tanto en visión por computadora como en gráficos por computadora. En los últimos años se ha logrado un rápido progreso en el aspecto algorítmico, sin embargo, los conjuntos de datos y puntos de referencia existentes para renderizado centrado en humanos son bastante limitados en términos de diversidad, lo cual es crucial para el efecto de renderizado. Los investigadores suelen verse restringidos a explorar y evaluar un pequeño conjunto de problemas de renderizado en los conjuntos de datos actuales, mientras que las aplicaciones del mundo real requieren que los métodos sean robustos en diferentes escenarios. En este trabajo, presentamos DNA-Rendering, un repositorio a gran escala y de alta fidelidad de datos de desempeño humano para el renderizado de actores neuronales. DNA-Rendering presenta varios atributos atractivos. En primer lugar, nuestro conjunto de datos contiene más de 1500 sujetos humanos, 5000 secuencias de movimiento y un volumen de datos de 67.5 millones de fotogramas. En segundo lugar, proporcionamos recursos ricos para cada sujeto: puntos clave 2D/3D del cuerpo humano, máscaras de primer plano, modelos SMPLX, materiales de ropa/accesorios, imágenes multi-vista y videos. Estos recursos mejoran la precisión de los métodos actuales en tareas de renderizado posteriores. En tercer lugar, construimos un sistema profesional multi-vista para capturar datos, que incluye 60 cámaras sincronizadas con una resolución máxima de 4096 x 3000, una velocidad de 15 fps y rigurosos pasos de calibración de cámara, asegurando recursos de alta calidad para el entrenamiento y evaluación de tareas. Junto con el conjunto de datos, proporcionamos un punto de referencia cuantitativo a gran escala, con múltiples tareas para evaluar el progreso actual de los métodos de síntesis de nuevas vistas, síntesis de animación de nuevas poses y renderizado de nuevas identidades. En este manuscrito, describimos nuestro esfuerzo en DNA-Rendering como una revelación de nuevas observaciones, desafíos y direcciones futuras para el renderizado centrado en humanos. El conjunto de datos, el código y los puntos de referencia estarán disponibles públicamente en https://dna-rendering.github.io/.

English

Realistic human-centric rendering plays a key role in both computer vision and computer graphics. Rapid progress has been made in the algorithm aspect over the years, yet existing human-centric rendering datasets and benchmarks are rather impoverished in terms of diversity, which are crucial for rendering effect. Researchers are usually constrained to explore and evaluate a small set of rendering problems on current datasets, while real-world applications require methods to be robust across different scenarios. In this work, we present DNA-Rendering, a large-scale, high-fidelity repository of human performance data for neural actor rendering. DNA-Rendering presents several alluring attributes. First, our dataset contains over 1500 human subjects, 5000 motion sequences, and 67.5M frames' data volume. Second, we provide rich assets for each subject -- 2D/3D human body keypoints, foreground masks, SMPLX models, cloth/accessory materials, multi-view images, and videos. These assets boost the current method's accuracy on downstream rendering tasks. Third, we construct a professional multi-view system to capture data, which contains 60 synchronous cameras with max 4096 x 3000 resolution, 15 fps speed, and stern camera calibration steps, ensuring high-quality resources for task training and evaluation. Along with the dataset, we provide a large-scale and quantitative benchmark in full-scale, with multiple tasks to evaluate the existing progress of novel view synthesis, novel pose animation synthesis, and novel identity rendering methods. In this manuscript, we describe our DNA-Rendering effort as a revealing of new observations, challenges, and future directions to human-centric rendering. The dataset, code, and benchmarks will be publicly available at https://dna-rendering.github.io/