MeshFleet: ドメイン特化型生成モデリングのためのフィルタリング・注釈付き3D車両データセット

MeshFleet: Filtered and Annotated 3D Vehicle Dataset for Domain Specific Generative Modeling

March 18, 2025

著者: Damian Boborzi, Phillip Mueller, Jonas Emrich, Dominik Schmid, Sebastian Mueller, Lars Mikelsons

cs.AI

要旨

生成モデルは近年、3Dオブジェクトの分野で目覚ましい進歩を遂げています。しかし、エンジニアリングなどの分野での実用的な応用は、ドメイン固有のタスクに必要な精度、品質、制御性を提供できないため、依然として限られています。大規模生成モデルのファインチューニングは、これらの分野でモデルを活用するための有望なアプローチです。高品質でドメイン固有の3Dデータセットを作成することは、大規模生成モデルのファインチューニングにおいて重要ですが、データのフィルタリングとアノテーションプロセスは依然として大きなボトルネックとなっています。本論文では、Objaverse-XLから抽出されたフィルタリングおよびアノテーション済みの3D車両データセットであるMeshFleetを紹介します。我々のアプローチは、品質分類器に基づく自動データフィルタリングのパイプラインを提案します。この分類器は、手動でラベル付けされたObjaverseのサブセットで訓練され、DINOv2とSigLIPの埋め込みを組み込み、キャプションベースの分析と不確実性推定を通じて洗練されています。我々は、キャプションや画像の美的スコアに基づく手法との比較分析、およびSV3Dを用いたファインチューニング実験を通じて、フィルタリング手法の有効性を実証し、ドメイン固有の3D生成モデリングにおけるターゲットデータ選択の重要性を強調します。

English

Generative models have recently made remarkable progress in the field of 3D objects. However, their practical application in fields like engineering remains limited since they fail to deliver the accuracy, quality, and controllability needed for domain-specific tasks. Fine-tuning large generative models is a promising perspective for making these models available in these fields. Creating high-quality, domain-specific 3D datasets is crucial for fine-tuning large generative models, yet the data filtering and annotation process remains a significant bottleneck. We present MeshFleet, a filtered and annotated 3D vehicle dataset extracted from Objaverse-XL, the most extensive publicly available collection of 3D objects. Our approach proposes a pipeline for automated data filtering based on a quality classifier. This classifier is trained on a manually labeled subset of Objaverse, incorporating DINOv2 and SigLIP embeddings, refined through caption-based analysis and uncertainty estimation. We demonstrate the efficacy of our filtering method through a comparative analysis against caption and image aesthetic score-based techniques and fine-tuning experiments with SV3D, highlighting the importance of targeted data selection for domain-specific 3D generative modeling.