VGGHeads: 3D 인간 머리를 위한 대규모 합성 데이터셋

VGGHeads: A Large-Scale Synthetic Dataset for 3D Human Heads

July 25, 2024

저자: Orest Kupyn, Eugene Khvedchenia, Christian Rupprecht

cs.AI

초록

인간 머리 감지, 키포인트 추정 및 3D 머리 모델 맞춤은 다양한 응용 프로그램을 가진 중요한 작업입니다. 그러나 전통적인 실제 세계 데이터셋은 종종 편향, 개인 정보 보호 및 윤리적 문제로 고통받고 있으며, 연구된 모델이 일반화하기 어렵도록 실험실 환경에서 기록되어 있습니다. 본 연구에서는 인간 머리 감지 및 3D 메쉬 추정을 위해 확산 모델을 사용하여 생성된 대규모 합성 데이터셋인 VGGHeads를 소개합니다. 우리의 데이터셋은 자세한 3D 머리 메쉬, 얼굴 랜드마크 및 경계 상자로 주석이 달린 100만 개 이상의 고해상도 이미지로 구성되어 있습니다. 이 데이터셋을 사용하여 우리는 단일 이미지에서 단일 단계로 동시에 머리 감지 및 머리 메쉬 재구성이 가능한 새로운 모델 아키텍처를 소개합니다. 광범위한 실험 평가를 통해 우리의 합성 데이터로 훈련된 모델이 실제 이미지에서 강력한 성능을 달성하는 것을 입증합니다. 또한 우리 데이터셋의 다용도성은 다양한 작업 범위에 적용 가능하며, 인간 머리의 일반적이고 포괄적인 표현을 제공합니다. 게다가, 우리는 합성 데이터 생성 파이프라인에 대한 자세한 정보를 제공하여 다른 작업 및 도메인에서 재사용할 수 있도록 합니다.

English

Human head detection, keypoint estimation, and 3D head model fitting are important tasks with many applications. However, traditional real-world datasets often suffer from bias, privacy, and ethical concerns, and they have been recorded in laboratory environments, which makes it difficult for trained models to generalize. Here, we introduce VGGHeads -- a large scale synthetic dataset generated with diffusion models for human head detection and 3D mesh estimation. Our dataset comprises over 1 million high-resolution images, each annotated with detailed 3D head meshes, facial landmarks, and bounding boxes. Using this dataset we introduce a new model architecture capable of simultaneous heads detection and head meshes reconstruction from a single image in a single step. Through extensive experimental evaluations, we demonstrate that models trained on our synthetic data achieve strong performance on real images. Furthermore, the versatility of our dataset makes it applicable across a broad spectrum of tasks, offering a general and comprehensive representation of human heads. Additionally, we provide detailed information about the synthetic data generation pipeline, enabling it to be re-used for other tasks and domains.