MARVEL-40M+: Multi-Level Visuele Uitwerking voor Hoogwaardige Tekst-naar-3D Inhoudcreatie

MARVEL-40M+: Multi-Level Visual Elaboration for High-Fidelity Text-to-3D Content Creation

November 26, 2024

Auteurs: Sankalp Sinha, Mohammad Sadil Khan, Muhammad Usama, Shino Sam, Didier Stricker, Sk Aziz Ali, Muhammad Zeshan Afzal

cs.AI

Samenvatting

Het genereren van hoogwaardige 3D-inhoud vanuit tekstprompts blijft een aanzienlijke uitdaging in computer vision vanwege de beperkte omvang, diversiteit en annotatiediepte van de bestaande datasets. Om dit aan te pakken, introduceren we MARVEL-40M+, een uitgebreide dataset met 40 miljoen tekstannotaties voor meer dan 8,9 miljoen 3D-objecten verzameld uit zeven belangrijke 3D-datasets. Onze bijdrage is een nieuw multi-stage annotatiepijplijn die open-source voorgetrainde multi-view VLM's en LLM's integreert om automatisch multi-level beschrijvingen te produceren, variërend van gedetailleerd (150-200 woorden) tot beknopte semantische tags (10-20 woorden). Deze structuur ondersteunt zowel gedetailleerde 3D-reconstructie als snelle prototyping. Bovendien nemen we menselijke metadata van bron datasets op in onze annotatiepijplijn om domeinspecifieke informatie toe te voegen aan onze annotatie en VLM-hallucinaties te verminderen. Daarnaast ontwikkelen we MARVEL-FX3D, een tweestaps tekst-naar-3D-pijplijn. We fine-tunen Stable Diffusion met onze annotaties en gebruiken een voorgetraind beeld-naar-3D-netwerk om 3D-getextureerde meshes te genereren binnen 15 seconden. Uitgebreide evaluaties tonen aan dat MARVEL-40M+ aanzienlijk beter presteert dan bestaande datasets op het gebied van annotatiekwaliteit en taalkundige diversiteit, met winstpercentages van 72,41% door GPT-4 en 73,40% door menselijke beoordelaars.

English

Generating high-fidelity 3D content from text prompts remains a significant challenge in computer vision due to the limited size, diversity, and annotation depth of the existing datasets. To address this, we introduce MARVEL-40M+, an extensive dataset with 40 million text annotations for over 8.9 million 3D assets aggregated from seven major 3D datasets. Our contribution is a novel multi-stage annotation pipeline that integrates open-source pretrained multi-view VLMs and LLMs to automatically produce multi-level descriptions, ranging from detailed (150-200 words) to concise semantic tags (10-20 words). This structure supports both fine-grained 3D reconstruction and rapid prototyping. Furthermore, we incorporate human metadata from source datasets into our annotation pipeline to add domain-specific information in our annotation and reduce VLM hallucinations. Additionally, we develop MARVEL-FX3D, a two-stage text-to-3D pipeline. We fine-tune Stable Diffusion with our annotations and use a pretrained image-to-3D network to generate 3D textured meshes within 15s. Extensive evaluations show that MARVEL-40M+ significantly outperforms existing datasets in annotation quality and linguistic diversity, achieving win rates of 72.41% by GPT-4 and 73.40% by human evaluators.