MARVEL-40M+: 高忠実度テキストから3Dコンテンツ作成のためのマルチレベルビジュアル詳細化

MARVEL-40M+: Multi-Level Visual Elaboration for High-Fidelity Text-to-3D Content Creation

November 26, 2024

著者: Sankalp Sinha, Mohammad Sadil Khan, Muhammad Usama, Shino Sam, Didier Stricker, Sk Aziz Ali, Muhammad Zeshan Afzal

cs.AI

要旨

テキストプロンプトから高品質な3Dコンテンツを生成することは、既存のデータセットのサイズ、多様性、および注釈の深さの制約から、コンピュータビジョンにおける重要な課題です。この課題に対処するために、私たちはMARVEL-40M+という、7つの主要な3Dデータセットから集約された8.9百万以上の3Dアセットに対する4,000万以上のテキスト注釈を持つ包括的なデータセットを導入します。私たちの貢献は、オープンソースの事前学習済みのマルチビューVLMおよびLLMを統合した新しいマルチステージ注釈パイプラインであり、詳細（150-200語）から簡潔な意味タグ（10-20語）までの多レベルの記述を自動的に生成します。この構造は、細かい粒度の3D再構築と迅速なプロトタイピングの両方をサポートします。さらに、ソースデータセットからの人間のメタデータを注釈パイプラインに組み込み、注釈にドメイン固有の情報を追加し、VLMの幻覚を減らします。さらに、私たちはMARVEL-FX3Dを開発し、2段階のテキストから3Dへのパイプラインを構築します。私たちの注釈を用いてStable Diffusionを微調整し、事前学習済みの画像から3Dへのネットワークを使用して、15秒以内に3Dテクスチャメッシュを生成します。包括的な評価により、MARVEL-40M+が注釈の品質と言語的多様性において既存のデータセットを大幅に上回り、GPT-4による勝率が72.41％、人間の評価者による勝率が73.40％を達成していることが示されました。

English

Generating high-fidelity 3D content from text prompts remains a significant challenge in computer vision due to the limited size, diversity, and annotation depth of the existing datasets. To address this, we introduce MARVEL-40M+, an extensive dataset with 40 million text annotations for over 8.9 million 3D assets aggregated from seven major 3D datasets. Our contribution is a novel multi-stage annotation pipeline that integrates open-source pretrained multi-view VLMs and LLMs to automatically produce multi-level descriptions, ranging from detailed (150-200 words) to concise semantic tags (10-20 words). This structure supports both fine-grained 3D reconstruction and rapid prototyping. Furthermore, we incorporate human metadata from source datasets into our annotation pipeline to add domain-specific information in our annotation and reduce VLM hallucinations. Additionally, we develop MARVEL-FX3D, a two-stage text-to-3D pipeline. We fine-tune Stable Diffusion with our annotations and use a pretrained image-to-3D network to generate 3D textured meshes within 15s. Extensive evaluations show that MARVEL-40M+ significantly outperforms existing datasets in annotation quality and linguistic diversity, achieving win rates of 72.41% by GPT-4 and 73.40% by human evaluators.