MeshFleet: Gefilterd en Geannoteerd 3D Voertuigdataset voor Domeinspecifiek Generatief Modelleren

MeshFleet: Filtered and Annotated 3D Vehicle Dataset for Domain Specific Generative Modeling

March 18, 2025

Auteurs: Damian Boborzi, Phillip Mueller, Jonas Emrich, Dominik Schmid, Sebastian Mueller, Lars Mikelsons

cs.AI

Samenvatting

Generatieve modellen hebben recentelijk opmerkelijke vooruitgang geboekt op het gebied van 3D-objecten. Hun praktische toepassing in vakgebieden zoals engineering blijft echter beperkt, omdat ze niet de vereiste nauwkeurigheid, kwaliteit en beheersbaarheid bieden die nodig zijn voor domeinspecifieke taken. Het finetunen van grote generatieve modellen is een veelbelovend perspectief om deze modellen in deze vakgebieden beschikbaar te maken. Het creëren van hoogwaardige, domeinspecifieke 3D-datasets is cruciaal voor het finetunen van grote generatieve modellen, maar het proces van datafiltering en annotatie blijft een belangrijk knelpunt. Wij presenteren MeshFleet, een gefilterd en geannoteerd 3D-voertuigdataset geëxtraheerd uit Objaverse-XL, de meest uitgebreide openbaar beschikbare verzameling van 3D-objecten. Onze aanpak stelt een pijplijn voor voor geautomatiseerde datafiltering op basis van een kwaliteitsclassificator. Deze classificator is getraind op een handmatig gelabelde subset van Objaverse, waarbij DINOv2- en SigLIP-embeddings worden geïntegreerd, verfijnd door op captions gebaseerde analyse en onzekerheidsschatting. Wij tonen de effectiviteit van onze filtermethode aan door middel van een vergelijkende analyse tegen op captions en esthetische beeldscore gebaseerde technieken en finetuningsexperimenten met SV3D, waarbij het belang van gerichte dataselectie voor domeinspecifieke 3D-generatieve modellering wordt benadrukt.

English

Generative models have recently made remarkable progress in the field of 3D objects. However, their practical application in fields like engineering remains limited since they fail to deliver the accuracy, quality, and controllability needed for domain-specific tasks. Fine-tuning large generative models is a promising perspective for making these models available in these fields. Creating high-quality, domain-specific 3D datasets is crucial for fine-tuning large generative models, yet the data filtering and annotation process remains a significant bottleneck. We present MeshFleet, a filtered and annotated 3D vehicle dataset extracted from Objaverse-XL, the most extensive publicly available collection of 3D objects. Our approach proposes a pipeline for automated data filtering based on a quality classifier. This classifier is trained on a manually labeled subset of Objaverse, incorporating DINOv2 and SigLIP embeddings, refined through caption-based analysis and uncertainty estimation. We demonstrate the efficacy of our filtering method through a comparative analysis against caption and image aesthetic score-based techniques and fine-tuning experiments with SV3D, highlighting the importance of targeted data selection for domain-specific 3D generative modeling.