MeshFleet: Dataset 3D Filtrato e Annotato di Veicoli per la Modellazione Generativa Specifica al Dominio
MeshFleet: Filtered and Annotated 3D Vehicle Dataset for Domain Specific Generative Modeling
March 18, 2025
Autori: Damian Boborzi, Phillip Mueller, Jonas Emrich, Dominik Schmid, Sebastian Mueller, Lars Mikelsons
cs.AI
Abstract
I modelli generativi hanno recentemente compiuto progressi significativi nel campo degli oggetti 3D. Tuttavia, la loro applicazione pratica in settori come l'ingegneria rimane limitata poiché non riescono a garantire l'accuratezza, la qualità e la controllabilità necessarie per compiti specifici del dominio. Il fine-tuning di grandi modelli generativi rappresenta una prospettiva promettente per rendere questi modelli disponibili in tali ambiti. La creazione di dataset 3D di alta qualità e specifici per il dominio è fondamentale per il fine-tuning di grandi modelli generativi, ma il processo di filtraggio e annotazione dei dati rimane un collo di bottiglia significativo. Presentiamo MeshFleet, un dataset filtrato e annotato di veicoli 3D estratto da Objaverse-XL, la più vasta collezione pubblicamente disponibile di oggetti 3D. Il nostro approccio propone una pipeline per il filtraggio automatico dei dati basata su un classificatore di qualità. Questo classificatore è addestrato su un sottoinsieme etichettato manualmente di Objaverse, incorporando embedding di DINOv2 e SigLIP, raffinati attraverso analisi basate su didascalie e stima dell'incertezza. Dimostriamo l'efficacia del nostro metodo di filtraggio attraverso un'analisi comparativa rispetto a tecniche basate su didascalie e punteggi estetici delle immagini, nonché esperimenti di fine-tuning con SV3D, evidenziando l'importanza della selezione mirata dei dati per la modellazione generativa 3D specifica del dominio.
English
Generative models have recently made remarkable progress in the field of 3D
objects. However, their practical application in fields like engineering
remains limited since they fail to deliver the accuracy, quality, and
controllability needed for domain-specific tasks. Fine-tuning large generative
models is a promising perspective for making these models available in these
fields. Creating high-quality, domain-specific 3D datasets is crucial for
fine-tuning large generative models, yet the data filtering and annotation
process remains a significant bottleneck. We present MeshFleet, a filtered and
annotated 3D vehicle dataset extracted from Objaverse-XL, the most extensive
publicly available collection of 3D objects. Our approach proposes a pipeline
for automated data filtering based on a quality classifier. This classifier is
trained on a manually labeled subset of Objaverse, incorporating DINOv2 and
SigLIP embeddings, refined through caption-based analysis and uncertainty
estimation. We demonstrate the efficacy of our filtering method through a
comparative analysis against caption and image aesthetic score-based techniques
and fine-tuning experiments with SV3D, highlighting the importance of targeted
data selection for domain-specific 3D generative modeling.