VGGHeads: Ein umfangreiches synthetisches Datenset für 3D menschliche Köpfe

VGGHeads: A Large-Scale Synthetic Dataset for 3D Human Heads

July 25, 2024

Autoren: Orest Kupyn, Eugene Khvedchenia, Christian Rupprecht

cs.AI

Zusammenfassung

Die Erkennung von menschlichen Köpfen, die Schätzung von Schlüsselpunkten und die Anpassung von 3D-Kopfmodellen sind wichtige Aufgaben mit vielen Anwendungen. Traditionelle Echtweltdatensätze leiden jedoch oft unter Voreingenommenheit, Datenschutz- und ethischen Bedenken und wurden in Laborumgebungen aufgezeichnet, was es für trainierte Modelle schwierig macht, zu verallgemeinern. Hier stellen wir VGGHeads vor - einen groß angelegten synthetischen Datensatz, der mit Diffusionsmodellen für die Erkennung von menschlichen Köpfen und die Schätzung von 3D-Meshes generiert wurde. Unser Datensatz umfasst über 1 Million hochauflösende Bilder, die jeweils mit detaillierten 3D-Kopf-Meshes, Gesichtslandmarken und Begrenzungsrahmen annotiert sind. Unter Verwendung dieses Datensatzes stellen wir eine neue Modellarchitektur vor, die in der Lage ist, Köpfe gleichzeitig zu erkennen und Kopf-Meshes aus einem einzigen Bild in einem Schritt zu rekonstruieren. Durch umfangreiche experimentelle Bewertungen zeigen wir, dass Modelle, die auf unseren synthetischen Daten trainiert sind, eine starke Leistung auf echten Bildern erzielen. Darüber hinaus macht die Vielseitigkeit unseres Datensatzes ihn für eine Vielzahl von Aufgaben anwendbar und bietet eine allgemeine und umfassende Darstellung von menschlichen Köpfen. Zusätzlich stellen wir detaillierte Informationen über die synthetische Datengenerierungspipeline bereit, die es ermöglichen, sie für andere Aufgaben und Bereiche wiederzuverwenden.

English

Human head detection, keypoint estimation, and 3D head model fitting are important tasks with many applications. However, traditional real-world datasets often suffer from bias, privacy, and ethical concerns, and they have been recorded in laboratory environments, which makes it difficult for trained models to generalize. Here, we introduce VGGHeads -- a large scale synthetic dataset generated with diffusion models for human head detection and 3D mesh estimation. Our dataset comprises over 1 million high-resolution images, each annotated with detailed 3D head meshes, facial landmarks, and bounding boxes. Using this dataset we introduce a new model architecture capable of simultaneous heads detection and head meshes reconstruction from a single image in a single step. Through extensive experimental evaluations, we demonstrate that models trained on our synthetic data achieve strong performance on real images. Furthermore, the versatility of our dataset makes it applicable across a broad spectrum of tasks, offering a general and comprehensive representation of human heads. Additionally, we provide detailed information about the synthetic data generation pipeline, enabling it to be re-used for other tasks and domains.