MARVEL-40M+: Mehrstufige visuelle Ausarbeitung für hochwertige Text-zu-3D-Inhalteerstellung

MARVEL-40M+: Multi-Level Visual Elaboration for High-Fidelity Text-to-3D Content Creation

November 26, 2024

Autoren: Sankalp Sinha, Mohammad Sadil Khan, Muhammad Usama, Shino Sam, Didier Stricker, Sk Aziz Ali, Muhammad Zeshan Afzal

cs.AI

Zusammenfassung

Die Generierung hochwertiger 3D-Inhalte aus Texteingaben bleibt aufgrund der begrenzten Größe, Vielfalt und Annotierungstiefe der vorhandenen Datensätze eine bedeutende Herausforderung in der Computer Vision. Um dem entgegenzuwirken, stellen wir MARVEL-40M+ vor, einen umfangreichen Datensatz mit 40 Millionen Textannotationen für über 8,9 Millionen 3D-Objekte, die aus sieben großen 3D-Datensätzen aggregiert wurden. Unser Beitrag ist eine neuartige mehrstufige Annotationspipeline, die Open-Source-vorabtrainierte Multi-View-VLMs und LLMs integriert, um automatisch mehrstufige Beschreibungen zu erstellen, die von detaillierten (150-200 Wörter) bis zu prägnanten semantischen Tags (10-20 Wörter) reichen. Diese Struktur unterstützt sowohl feinkörnige 3D-Rekonstruktion als auch schnelles Prototyping. Darüber hinaus integrieren wir Metadaten von Menschen aus den Ausgangsdatensätzen in unsere Annotationspipeline, um domänenspezifische Informationen hinzuzufügen und VLM-Halluzinationen zu reduzieren. Zusätzlich entwickeln wir MARVEL-FX3D, eine zweistufige Text-zu-3D-Pipeline. Wir feinabstimmen Stable Diffusion mit unseren Annotationen und verwenden ein vorab trainiertes Bild-zu-3D-Netzwerk, um 3D-texturierte Meshes innerhalb von 15 Sekunden zu generieren. Umfangreiche Bewertungen zeigen, dass MARVEL-40M+ in Annotierungsqualität und sprachlicher Vielfalt signifikant besser abschneidet als vorhandene Datensätze und Gewinnraten von 72,41 % durch GPT-4 und 73,40 % durch menschliche Evaluatoren erreicht.

English

Generating high-fidelity 3D content from text prompts remains a significant challenge in computer vision due to the limited size, diversity, and annotation depth of the existing datasets. To address this, we introduce MARVEL-40M+, an extensive dataset with 40 million text annotations for over 8.9 million 3D assets aggregated from seven major 3D datasets. Our contribution is a novel multi-stage annotation pipeline that integrates open-source pretrained multi-view VLMs and LLMs to automatically produce multi-level descriptions, ranging from detailed (150-200 words) to concise semantic tags (10-20 words). This structure supports both fine-grained 3D reconstruction and rapid prototyping. Furthermore, we incorporate human metadata from source datasets into our annotation pipeline to add domain-specific information in our annotation and reduce VLM hallucinations. Additionally, we develop MARVEL-FX3D, a two-stage text-to-3D pipeline. We fine-tune Stable Diffusion with our annotations and use a pretrained image-to-3D network to generate 3D textured meshes within 15s. Extensive evaluations show that MARVEL-40M+ significantly outperforms existing datasets in annotation quality and linguistic diversity, achieving win rates of 72.41% by GPT-4 and 73.40% by human evaluators.