MeshFleet: Conjunto de Dados de Veículos 3D Filtrados e Anotados para Modelagem Generativa Específica de Domínio

MeshFleet: Filtered and Annotated 3D Vehicle Dataset for Domain Specific Generative Modeling

March 18, 2025

Autores: Damian Boborzi, Phillip Mueller, Jonas Emrich, Dominik Schmid, Sebastian Mueller, Lars Mikelsons

cs.AI

Resumo

Modelos generativos têm recentemente alcançado progressos notáveis no campo de objetos 3D. No entanto, sua aplicação prática em áreas como engenharia ainda é limitada, pois não conseguem fornecer a precisão, qualidade e controlabilidade necessárias para tarefas específicas do domínio. O ajuste fino de grandes modelos generativos é uma perspectiva promissora para tornar esses modelos disponíveis nessas áreas. A criação de conjuntos de dados 3D de alta qualidade e específicos para o domínio é crucial para o ajuste fino de grandes modelos generativos, mas o processo de filtragem e anotação de dados continua sendo um gargalo significativo. Apresentamos o MeshFleet, um conjunto de dados de veículos 3D filtrado e anotado, extraído do Objaverse-XL, a maior coleção publicamente disponível de objetos 3D. Nossa abordagem propõe um pipeline para filtragem automatizada de dados com base em um classificador de qualidade. Esse classificador é treinado em um subconjunto rotulado manualmente do Objaverse, incorporando embeddings do DINOv2 e SigLIP, refinados por meio de análise baseada em legendas e estimativa de incerteza. Demonstramos a eficácia do nosso método de filtragem por meio de uma análise comparativa contra técnicas baseadas em legendas e pontuações estéticas de imagens, além de experimentos de ajuste fino com o SV3D, destacando a importância da seleção direcionada de dados para a modelagem generativa 3D específica do domínio.

English

Generative models have recently made remarkable progress in the field of 3D objects. However, their practical application in fields like engineering remains limited since they fail to deliver the accuracy, quality, and controllability needed for domain-specific tasks. Fine-tuning large generative models is a promising perspective for making these models available in these fields. Creating high-quality, domain-specific 3D datasets is crucial for fine-tuning large generative models, yet the data filtering and annotation process remains a significant bottleneck. We present MeshFleet, a filtered and annotated 3D vehicle dataset extracted from Objaverse-XL, the most extensive publicly available collection of 3D objects. Our approach proposes a pipeline for automated data filtering based on a quality classifier. This classifier is trained on a manually labeled subset of Objaverse, incorporating DINOv2 and SigLIP embeddings, refined through caption-based analysis and uncertainty estimation. We demonstrate the efficacy of our filtering method through a comparative analysis against caption and image aesthetic score-based techniques and fine-tuning experiments with SV3D, highlighting the importance of targeted data selection for domain-specific 3D generative modeling.