DNA-Rendering: Ein vielfältiges Repository neuronaler Akteure für hochauflösendes, menschenzentriertes Rendering

DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering

July 19, 2023

Autoren: Wei Cheng, Ruixiang Chen, Wanqi Yin, Siming Fan, Keyu Chen, Honglin He, Huiwen Luo, Zhongang Cai, Jingbo Wang, Yang Gao, Zhengming Yu, Zhengyu Lin, Daxuan Ren, Lei Yang, Ziwei Liu, Chen Change Loy, Chen Qian, Wayne Wu, Dahua Lin, Bo Dai, Kwan-Yee Lin

cs.AI

Zusammenfassung

Realistisches, menschenzentriertes Rendering spielt eine Schlüsselrolle sowohl in der Computer Vision als auch in der Computergrafik. In den letzten Jahren wurden rasante Fortschritte im algorithmischen Bereich erzielt, doch bestehende menschenzentrierte Rendering-Datensätze und Benchmarks sind in Bezug auf Diversität eher begrenzt, was für den Rendering-Effekt entscheidend ist. Forscher sind oft darauf beschränkt, eine kleine Auswahl von Rendering-Problemen auf aktuellen Datensätzen zu untersuchen und zu bewerten, während reale Anwendungen Methoden erfordern, die robust über verschiedene Szenarien hinweg sind. In dieser Arbeit präsentieren wir DNA-Rendering, ein groß angelegtes, hochauflösendes Repository von menschlichen Performancedaten für das Rendering von neuronalen Akteuren. DNA-Rendering bietet mehrere attraktive Eigenschaften. Erstens enthält unser Datensatz über 1500 menschliche Probanden, 5000 Bewegungssequenzen und ein Datenvolumen von 67,5 Millionen Frames. Zweitens stellen wir umfangreiche Assets für jeden Probanden bereit – 2D/3D-Schlüsselpunkte des menschlichen Körpers, Vordergrundmasken, SMPLX-Modelle, Kleidungs-/Accessoire-Materialien, Multi-View-Bilder und Videos. Diese Assets verbessern die Genauigkeit aktueller Methoden bei nachgelagerten Rendering-Aufgaben. Drittens haben wir ein professionelles Multi-View-System zur Datenerfassung entwickelt, das 60 synchronisierte Kameras mit einer maximalen Auflösung von 4096 x 3000, einer Geschwindigkeit von 15 fps und strengen Kamerakalibrierungsschritten umfasst, um hochwertige Ressourcen für das Training und die Bewertung von Aufgaben sicherzustellen. Neben dem Datensatz bieten wir einen groß angelegten und quantitativen Benchmark im Vollumfang mit mehreren Aufgaben, um den Fortschritt bei der Synthese neuer Ansichten, der Animation neuer Posen und der Darstellung neuer Identitäten zu bewerten. In diesem Manuskript beschreiben wir unsere DNA-Rendering-Bemühungen als eine Enthüllung neuer Beobachtungen, Herausforderungen und zukünftiger Richtungen für das menschenzentrierte Rendering. Der Datensatz, der Code und die Benchmarks werden öffentlich unter https://dna-rendering.github.io/ verfügbar sein.

English

Realistic human-centric rendering plays a key role in both computer vision and computer graphics. Rapid progress has been made in the algorithm aspect over the years, yet existing human-centric rendering datasets and benchmarks are rather impoverished in terms of diversity, which are crucial for rendering effect. Researchers are usually constrained to explore and evaluate a small set of rendering problems on current datasets, while real-world applications require methods to be robust across different scenarios. In this work, we present DNA-Rendering, a large-scale, high-fidelity repository of human performance data for neural actor rendering. DNA-Rendering presents several alluring attributes. First, our dataset contains over 1500 human subjects, 5000 motion sequences, and 67.5M frames' data volume. Second, we provide rich assets for each subject -- 2D/3D human body keypoints, foreground masks, SMPLX models, cloth/accessory materials, multi-view images, and videos. These assets boost the current method's accuracy on downstream rendering tasks. Third, we construct a professional multi-view system to capture data, which contains 60 synchronous cameras with max 4096 x 3000 resolution, 15 fps speed, and stern camera calibration steps, ensuring high-quality resources for task training and evaluation. Along with the dataset, we provide a large-scale and quantitative benchmark in full-scale, with multiple tasks to evaluate the existing progress of novel view synthesis, novel pose animation synthesis, and novel identity rendering methods. In this manuscript, we describe our DNA-Rendering effort as a revealing of new observations, challenges, and future directions to human-centric rendering. The dataset, code, and benchmarks will be publicly available at https://dna-rendering.github.io/