VGGHeads: 3D人間頭部のための大規模合成データセット

VGGHeads: A Large-Scale Synthetic Dataset for 3D Human Heads

July 25, 2024

著者: Orest Kupyn, Eugene Khvedchenia, Christian Rupprecht

cs.AI

要旨

人間の頭部検出、キーポイント推定、および3D頭部モデルフィッティングは、多くの応用が可能な重要なタスクです。しかし、従来の実世界のデータセットは、バイアス、プライバシー、倫理的な懸念に悩まされることが多く、また実験室環境で記録されているため、訓練されたモデルの汎化が困難です。ここでは、人間の頭部検出と3Dメッシュ推定のための拡散モデルを用いて生成された大規模な合成データセットであるVGGHeadsを紹介します。私たちのデータセットは、100万枚以上の高解像度画像で構成され、それぞれに詳細な3D頭部メッシュ、顔のランドマーク、バウンディングボックスが注釈付けされています。このデータセットを使用して、単一の画像から頭部検出と頭部メッシュ再構築を同時に行う新しいモデルアーキテクチャを提案します。広範な実験的評価を通じて、私たちの合成データで訓練されたモデルが実画像において高い性能を発揮することを実証します。さらに、私たちのデータセットの汎用性により、幅広いタスクに適用可能であり、人間の頭部の一般的で包括的な表現を提供します。加えて、合成データ生成パイプラインに関する詳細な情報を提供し、他のタスクやドメインで再利用できるようにしています。

English

Human head detection, keypoint estimation, and 3D head model fitting are important tasks with many applications. However, traditional real-world datasets often suffer from bias, privacy, and ethical concerns, and they have been recorded in laboratory environments, which makes it difficult for trained models to generalize. Here, we introduce VGGHeads -- a large scale synthetic dataset generated with diffusion models for human head detection and 3D mesh estimation. Our dataset comprises over 1 million high-resolution images, each annotated with detailed 3D head meshes, facial landmarks, and bounding boxes. Using this dataset we introduce a new model architecture capable of simultaneous heads detection and head meshes reconstruction from a single image in a single step. Through extensive experimental evaluations, we demonstrate that models trained on our synthetic data achieve strong performance on real images. Furthermore, the versatility of our dataset makes it applicable across a broad spectrum of tasks, offering a general and comprehensive representation of human heads. Additionally, we provide detailed information about the synthetic data generation pipeline, enabling it to be re-used for other tasks and domains.