VGGHeads: крупномасштабный синтетический набор данных для трехмерных голов человека.

VGGHeads: A Large-Scale Synthetic Dataset for 3D Human Heads

July 25, 2024

Авторы: Orest Kupyn, Eugene Khvedchenia, Christian Rupprecht

cs.AI

Аннотация

Обнаружение головы человека, оценка ключевых точек и подгонка трехмерной модели головы - важные задачи с множеством применений. Однако традиционные реальные наборы данных часто страдают от предвзятости, конфиденциальности и этических проблем, и они были записаны в лабораторных условиях, что затрудняет обобщение обученных моделей. Здесь мы представляем VGGHeads - крупномасштабный синтетический набор данных, созданный с использованием моделей диффузии для обнаружения головы человека и оценки трехмерной сетки. Наш набор данных включает более 1 миллиона изображений высокого разрешения, каждое аннотировано подробными трехмерными сетками головы, точками на лице и ограничивающими рамками. Используя этот набор данных, мы представляем новую архитектуру модели, способную одновременно обнаруживать головы и восстанавливать трехмерные сетки головы из одного изображения за один шаг. Через обширные экспериментальные оценки мы демонстрируем, что модели, обученные на наших синтетических данных, достигают высокой производительности на реальных изображениях. Более того, универсальность нашего набора данных делает его применимым в широком спектре задач, предлагая общее и всестороннее представление о головах человека. Кроме того, мы предоставляем подробную информацию о процессе генерации синтетических данных, что позволяет их повторно использовать для других задач и областей.

English

Human head detection, keypoint estimation, and 3D head model fitting are important tasks with many applications. However, traditional real-world datasets often suffer from bias, privacy, and ethical concerns, and they have been recorded in laboratory environments, which makes it difficult for trained models to generalize. Here, we introduce VGGHeads -- a large scale synthetic dataset generated with diffusion models for human head detection and 3D mesh estimation. Our dataset comprises over 1 million high-resolution images, each annotated with detailed 3D head meshes, facial landmarks, and bounding boxes. Using this dataset we introduce a new model architecture capable of simultaneous heads detection and head meshes reconstruction from a single image in a single step. Through extensive experimental evaluations, we demonstrate that models trained on our synthetic data achieve strong performance on real images. Furthermore, the versatility of our dataset makes it applicable across a broad spectrum of tasks, offering a general and comprehensive representation of human heads. Additionally, we provide detailed information about the synthetic data generation pipeline, enabling it to be re-used for other tasks and domains.