MeshFleet: 도메인 특화 생성 모델링을 위한 필터링 및 주석 처리된 3D 차량 데이터셋

MeshFleet: Filtered and Annotated 3D Vehicle Dataset for Domain Specific Generative Modeling

March 18, 2025

저자: Damian Boborzi, Phillip Mueller, Jonas Emrich, Dominik Schmid, Sebastian Mueller, Lars Mikelsons

cs.AI

초록

생성 모델은 최근 3D 객체 분야에서 놀라운 발전을 이루었습니다. 그러나 엔지니어링과 같은 분야에서의 실질적인 적용은 여전히 제한적입니다. 이는 도메인 특화 작업에 필요한 정확도, 품질, 제어 가능성을 제공하지 못하기 때문입니다. 대규모 생성 모델의 미세 조정은 이러한 모델을 해당 분야에서 활용할 수 있게 하는 유망한 접근 방식입니다. 고품질의 도메인 특화 3D 데이터셋을 구축하는 것은 대규모 생성 모델의 미세 조정에 있어 핵심적이지만, 데이터 필터링 및 주석 프로세스는 여전히 주요 병목 현상으로 남아 있습니다. 본 논문에서는 가장 방대한 공개 3D 객체 컬렉션인 Objaverse-XL에서 추출한 필터링 및 주석 처리된 3D 차량 데이터셋인 MeshFleet를 소개합니다. 우리의 접근 방식은 품질 분류기를 기반으로 한 자동화된 데이터 필터링 파이프라인을 제안합니다. 이 분류기는 DINOv2와 SigLIP 임베딩을 통합하고, 캡션 기반 분석과 불확실성 추정을 통해 개선된 수동으로 레이블링된 Objaverse의 하위 집합에서 학습됩니다. 우리는 캡션 및 이미지 미적 점수 기반 기법과의 비교 분석과 SV3D를 이용한 미세 조정 실험을 통해 필터링 방법의 효용성을 입증하며, 도메인 특화 3D 생성 모델링을 위한 목표 데이터 선택의 중요성을 강조합니다.

English

Generative models have recently made remarkable progress in the field of 3D objects. However, their practical application in fields like engineering remains limited since they fail to deliver the accuracy, quality, and controllability needed for domain-specific tasks. Fine-tuning large generative models is a promising perspective for making these models available in these fields. Creating high-quality, domain-specific 3D datasets is crucial for fine-tuning large generative models, yet the data filtering and annotation process remains a significant bottleneck. We present MeshFleet, a filtered and annotated 3D vehicle dataset extracted from Objaverse-XL, the most extensive publicly available collection of 3D objects. Our approach proposes a pipeline for automated data filtering based on a quality classifier. This classifier is trained on a manually labeled subset of Objaverse, incorporating DINOv2 and SigLIP embeddings, refined through caption-based analysis and uncertainty estimation. We demonstrate the efficacy of our filtering method through a comparative analysis against caption and image aesthetic score-based techniques and fine-tuning experiments with SV3D, highlighting the importance of targeted data selection for domain-specific 3D generative modeling.