DNA-Rendering: Een Diverse Neurale Acteurrepository voor Hoogwaardige Mensgerichte Rendering

DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering

July 19, 2023

Auteurs: Wei Cheng, Ruixiang Chen, Wanqi Yin, Siming Fan, Keyu Chen, Honglin He, Huiwen Luo, Zhongang Cai, Jingbo Wang, Yang Gao, Zhengming Yu, Zhengyu Lin, Daxuan Ren, Lei Yang, Ziwei Liu, Chen Change Loy, Chen Qian, Wayne Wu, Dahua Lin, Bo Dai, Kwan-Yee Lin

cs.AI

Samenvatting

Realistische mensgerichte rendering speelt een sleutelrol in zowel computervisie als computergraphics. Er is de afgelopen jaren snelle vooruitgang geboekt op het gebied van algoritmen, maar bestaande datasets en benchmarks voor mensgerichte rendering zijn nogal beperkt in termen van diversiteit, wat cruciaal is voor het rendereffect. Onderzoekers zijn meestal beperkt tot het verkennen en evalueren van een kleine set renderproblemen op huidige datasets, terwijl real-world toepassingen vereisen dat methoden robuust zijn in verschillende scenario's. In dit werk presenteren we DNA-Rendering, een grootschalige, hoogwaardige repository van menselijke prestatiegegevens voor neurale acteurrendering. DNA-Rendering biedt verschillende aantrekkelijke kenmerken. Ten eerste bevat onze dataset meer dan 1500 menselijke proefpersonen, 5000 bewegingssequenties en een datavolume van 67,5 miljoen frames. Ten tweede bieden we rijke assets voor elke proefpersoon — 2D/3D sleutelpunten van het menselijk lichaam, voorgrondmaskers, SMPLX-modellen, kleding-/accessoirematerialen, multi-view afbeeldingen en video's. Deze assets verbeteren de nauwkeurigheid van huidige methoden bij downstream-rendertaken. Ten derde hebben we een professioneel multi-view systeem gebouwd om gegevens vast te leggen, dat bestaat uit 60 synchrone camera's met een maximale resolutie van 4096 x 3000, een snelheid van 15 fps en strikte camerakalibratiestappen, waardoor hoogwaardige bronnen worden gegarandeerd voor taaktraining en -evaluatie. Naast de dataset bieden we een grootschalige en kwantitatieve benchmark op volledige schaal, met meerdere taken om de bestaande vooruitgang van nieuwe weergavesynthese, nieuwe pose-animatiesynthese en nieuwe identiteitsrendermethoden te evalueren. In dit manuscript beschrijven we onze DNA-Rendering-inspanning als een onthulling van nieuwe observaties, uitdagingen en toekomstige richtingen voor mensgerichte rendering. De dataset, code en benchmarks zullen publiekelijk beschikbaar zijn op https://dna-rendering.github.io/.

English

Realistic human-centric rendering plays a key role in both computer vision and computer graphics. Rapid progress has been made in the algorithm aspect over the years, yet existing human-centric rendering datasets and benchmarks are rather impoverished in terms of diversity, which are crucial for rendering effect. Researchers are usually constrained to explore and evaluate a small set of rendering problems on current datasets, while real-world applications require methods to be robust across different scenarios. In this work, we present DNA-Rendering, a large-scale, high-fidelity repository of human performance data for neural actor rendering. DNA-Rendering presents several alluring attributes. First, our dataset contains over 1500 human subjects, 5000 motion sequences, and 67.5M frames' data volume. Second, we provide rich assets for each subject -- 2D/3D human body keypoints, foreground masks, SMPLX models, cloth/accessory materials, multi-view images, and videos. These assets boost the current method's accuracy on downstream rendering tasks. Third, we construct a professional multi-view system to capture data, which contains 60 synchronous cameras with max 4096 x 3000 resolution, 15 fps speed, and stern camera calibration steps, ensuring high-quality resources for task training and evaluation. Along with the dataset, we provide a large-scale and quantitative benchmark in full-scale, with multiple tasks to evaluate the existing progress of novel view synthesis, novel pose animation synthesis, and novel identity rendering methods. In this manuscript, we describe our DNA-Rendering effort as a revealing of new observations, challenges, and future directions to human-centric rendering. The dataset, code, and benchmarks will be publicly available at https://dna-rendering.github.io/