DNA-Rendering: Un Repository Diversificato di Attori Neurali per il Rendering ad Alta Fedeltà Centrato sull'Umano

DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering

July 19, 2023

Autori: Wei Cheng, Ruixiang Chen, Wanqi Yin, Siming Fan, Keyu Chen, Honglin He, Huiwen Luo, Zhongang Cai, Jingbo Wang, Yang Gao, Zhengming Yu, Zhengyu Lin, Daxuan Ren, Lei Yang, Ziwei Liu, Chen Change Loy, Chen Qian, Wayne Wu, Dahua Lin, Bo Dai, Kwan-Yee Lin

cs.AI

Abstract

Il rendering realistico centrato sull'uomo svolge un ruolo chiave sia nella visione artificiale che nella grafica computerizzata. Negli anni sono stati compiuti rapidi progressi nell'aspetto algoritmico, tuttavia i dataset e i benchmark esistenti per il rendering centrato sull'uomo sono piuttosto limitati in termini di diversità, che sono cruciali per l'effetto di rendering. I ricercatori sono solitamente costretti a esplorare e valutare un piccolo insieme di problemi di rendering sui dataset attuali, mentre le applicazioni nel mondo reale richiedono metodi robusti in diversi scenari. In questo lavoro, presentiamo DNA-Rendering, un repository su larga scala e ad alta fedeltà di dati sulle prestazioni umane per il rendering di attori neurali. DNA-Rendering presenta diversi attributi allettanti. Innanzitutto, il nostro dataset contiene oltre 1500 soggetti umani, 5000 sequenze di movimento e un volume di dati di 67,5 milioni di frame. In secondo luogo, forniamo risorse ricche per ogni soggetto: punti chiave 2D/3D del corpo umano, maschere in primo piano, modelli SMPLX, materiali per abbigliamento/accessori, immagini multi-vista e video. Queste risorse migliorano l'accuratezza dei metodi attuali nei compiti di rendering a valle. In terzo luogo, abbiamo costruito un sistema multi-vista professionale per acquisire dati, che comprende 60 telecamere sincrone con una risoluzione massima di 4096 x 3000, una velocità di 15 fps e rigorosi passaggi di calibrazione della telecamera, garantendo risorse di alta qualità per l'addestramento e la valutazione dei compiti. Insieme al dataset, forniamo un benchmark su larga scala e quantitativo a pieno titolo, con più compiti per valutare i progressi esistenti nei metodi di sintesi di nuove viste, sintesi di animazione di nuove pose e rendering di nuove identità. In questo manoscritto, descriviamo il nostro sforzo DNA-Rendering come una rivelazione di nuove osservazioni, sfide e direzioni future per il rendering centrato sull'uomo. Il dataset, il codice e i benchmark saranno pubblicamente disponibili all'indirizzo https://dna-rendering.github.io/.

English

Realistic human-centric rendering plays a key role in both computer vision and computer graphics. Rapid progress has been made in the algorithm aspect over the years, yet existing human-centric rendering datasets and benchmarks are rather impoverished in terms of diversity, which are crucial for rendering effect. Researchers are usually constrained to explore and evaluate a small set of rendering problems on current datasets, while real-world applications require methods to be robust across different scenarios. In this work, we present DNA-Rendering, a large-scale, high-fidelity repository of human performance data for neural actor rendering. DNA-Rendering presents several alluring attributes. First, our dataset contains over 1500 human subjects, 5000 motion sequences, and 67.5M frames' data volume. Second, we provide rich assets for each subject -- 2D/3D human body keypoints, foreground masks, SMPLX models, cloth/accessory materials, multi-view images, and videos. These assets boost the current method's accuracy on downstream rendering tasks. Third, we construct a professional multi-view system to capture data, which contains 60 synchronous cameras with max 4096 x 3000 resolution, 15 fps speed, and stern camera calibration steps, ensuring high-quality resources for task training and evaluation. Along with the dataset, we provide a large-scale and quantitative benchmark in full-scale, with multiple tasks to evaluate the existing progress of novel view synthesis, novel pose animation synthesis, and novel identity rendering methods. In this manuscript, we describe our DNA-Rendering effort as a revealing of new observations, challenges, and future directions to human-centric rendering. The dataset, code, and benchmarks will be publicly available at https://dna-rendering.github.io/