DNA-Rendering: Um Repositório Diversificado de Atores Neurais para Renderização de Alta Fidelidade Centrada no Ser Humano

DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering

July 19, 2023

Autores: Wei Cheng, Ruixiang Chen, Wanqi Yin, Siming Fan, Keyu Chen, Honglin He, Huiwen Luo, Zhongang Cai, Jingbo Wang, Yang Gao, Zhengming Yu, Zhengyu Lin, Daxuan Ren, Lei Yang, Ziwei Liu, Chen Change Loy, Chen Qian, Wayne Wu, Dahua Lin, Bo Dai, Kwan-Yee Lin

cs.AI

Resumo

A renderização realista centrada no ser humano desempenha um papel fundamental tanto na visão computacional quanto na computação gráfica. Nos últimos anos, houve progressos rápidos no aspecto algorítmico, porém os conjuntos de dados e benchmarks existentes para renderização centrada no ser humano são bastante limitados em termos de diversidade, que é crucial para o efeito de renderização. Os pesquisadores geralmente estão restritos a explorar e avaliar um pequeno conjunto de problemas de renderização nos conjuntos de dados atuais, enquanto as aplicações do mundo real exigem que os métodos sejam robustos em diferentes cenários. Neste trabalho, apresentamos o DNA-Rendering, um repositório em larga escala e de alta fidelidade de dados de desempenho humano para renderização de atores neurais. O DNA-Rendering apresenta vários atributos atraentes. Primeiro, nosso conjunto de dados contém mais de 1500 sujeitos humanos, 5000 sequências de movimento e um volume de dados de 67,5 milhões de quadros. Segundo, fornecemos recursos ricos para cada sujeito — pontos-chave 2D/3D do corpo humano, máscaras de primeiro plano, modelos SMPLX, materiais de roupas/acessórios, imagens multi-visão e vídeos. Esses recursos aumentam a precisão dos métodos atuais em tarefas de renderização subsequentes. Terceiro, construímos um sistema multi-visão profissional para capturar dados, que contém 60 câmeras sincronizadas com resolução máxima de 4096 x 3000, velocidade de 15 fps e rigorosos passos de calibração de câmera, garantindo recursos de alta qualidade para treinamento e avaliação de tarefas. Juntamente com o conjunto de dados, fornecemos um benchmark em larga escala e quantitativo em escala completa, com múltiplas tarefas para avaliar o progresso atual dos métodos de síntese de novas visões, síntese de animação de novas poses e renderização de novas identidades. Neste manuscrito, descrevemos nosso esforço com o DNA-Rendering como uma revelação de novas observações, desafios e direções futuras para a renderização centrada no ser humano. O conjunto de dados, código e benchmarks estarão publicamente disponíveis em https://dna-rendering.github.io/.

English

Realistic human-centric rendering plays a key role in both computer vision and computer graphics. Rapid progress has been made in the algorithm aspect over the years, yet existing human-centric rendering datasets and benchmarks are rather impoverished in terms of diversity, which are crucial for rendering effect. Researchers are usually constrained to explore and evaluate a small set of rendering problems on current datasets, while real-world applications require methods to be robust across different scenarios. In this work, we present DNA-Rendering, a large-scale, high-fidelity repository of human performance data for neural actor rendering. DNA-Rendering presents several alluring attributes. First, our dataset contains over 1500 human subjects, 5000 motion sequences, and 67.5M frames' data volume. Second, we provide rich assets for each subject -- 2D/3D human body keypoints, foreground masks, SMPLX models, cloth/accessory materials, multi-view images, and videos. These assets boost the current method's accuracy on downstream rendering tasks. Third, we construct a professional multi-view system to capture data, which contains 60 synchronous cameras with max 4096 x 3000 resolution, 15 fps speed, and stern camera calibration steps, ensuring high-quality resources for task training and evaluation. Along with the dataset, we provide a large-scale and quantitative benchmark in full-scale, with multiple tasks to evaluate the existing progress of novel view synthesis, novel pose animation synthesis, and novel identity rendering methods. In this manuscript, we describe our DNA-Rendering effort as a revealing of new observations, challenges, and future directions to human-centric rendering. The dataset, code, and benchmarks will be publicly available at https://dna-rendering.github.io/