DNA-Rendering: Разнообразный репозиторий нейронных актеров для высококачественного рендеринга с акцентом на человека

DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering

July 19, 2023

Авторы: Wei Cheng, Ruixiang Chen, Wanqi Yin, Siming Fan, Keyu Chen, Honglin He, Huiwen Luo, Zhongang Cai, Jingbo Wang, Yang Gao, Zhengming Yu, Zhengyu Lin, Daxuan Ren, Lei Yang, Ziwei Liu, Chen Change Loy, Chen Qian, Wayne Wu, Dahua Lin, Bo Dai, Kwan-Yee Lin

cs.AI

Аннотация

Реалистичная рендеринг-ориентированная на человека играет ключевую роль как в компьютерном зрении, так и в компьютерной графике. За последние годы был достигнут значительный прогресс в алгоритмической части, однако существующие наборы данных и бенчмарки для рендеринга, ориентированного на человека, остаются довольно ограниченными с точки зрения разнообразия, что крайне важно для качества рендеринга. Исследователи обычно вынуждены изучать и оценивать лишь небольшой набор задач рендеринга на текущих наборах данных, в то время как реальные приложения требуют, чтобы методы были устойчивыми в различных сценариях. В данной работе мы представляем DNA-Rendering — крупномасштабный репозиторий высококачественных данных о человеческой деятельности для нейронного рендеринга актеров. DNA-Rendering обладает несколькими привлекательными характеристиками. Во-первых, наш набор данных включает более 1500 человек, 5000 последовательностей движений и объем данных в 67,5 миллионов кадров. Во-вторых, мы предоставляем богатые ресурсы для каждого участника — 2D/3D ключевые точки тела, маски переднего плана, модели SMPLX, материалы одежды и аксессуаров, многовидовые изображения и видео. Эти ресурсы повышают точность современных методов в задачах последующего рендеринга. В-третьих, мы создали профессиональную многовидовую систему для захвата данных, которая включает 60 синхронизированных камер с максимальным разрешением 4096 x 3000, скоростью 15 кадров в секунду и строгими этапами калибровки камер, что обеспечивает высококачественные ресурсы для обучения и оценки задач. Вместе с набором данных мы предоставляем крупномасштабный и количественный бенчмарк, охватывающий множество задач для оценки текущего прогресса в синтезе новых видов, анимации новых поз и рендеринге новых идентичностей. В данной статье мы описываем наши усилия по созданию DNA-Rendering как раскрытие новых наблюдений, вызовов и направлений для будущих исследований в области рендеринга, ориентированного на человека. Набор данных, код и бенчмарки будут общедоступны по адресу https://dna-rendering.github.io/.

English

Realistic human-centric rendering plays a key role in both computer vision and computer graphics. Rapid progress has been made in the algorithm aspect over the years, yet existing human-centric rendering datasets and benchmarks are rather impoverished in terms of diversity, which are crucial for rendering effect. Researchers are usually constrained to explore and evaluate a small set of rendering problems on current datasets, while real-world applications require methods to be robust across different scenarios. In this work, we present DNA-Rendering, a large-scale, high-fidelity repository of human performance data for neural actor rendering. DNA-Rendering presents several alluring attributes. First, our dataset contains over 1500 human subjects, 5000 motion sequences, and 67.5M frames' data volume. Second, we provide rich assets for each subject -- 2D/3D human body keypoints, foreground masks, SMPLX models, cloth/accessory materials, multi-view images, and videos. These assets boost the current method's accuracy on downstream rendering tasks. Third, we construct a professional multi-view system to capture data, which contains 60 synchronous cameras with max 4096 x 3000 resolution, 15 fps speed, and stern camera calibration steps, ensuring high-quality resources for task training and evaluation. Along with the dataset, we provide a large-scale and quantitative benchmark in full-scale, with multiple tasks to evaluate the existing progress of novel view synthesis, novel pose animation synthesis, and novel identity rendering methods. In this manuscript, we describe our DNA-Rendering effort as a revealing of new observations, challenges, and future directions to human-centric rendering. The dataset, code, and benchmarks will be publicly available at https://dna-rendering.github.io/