StdGEN: 単一画像からの意味分解された3Dキャラクター生成

StdGEN: Semantic-Decomposed 3D Character Generation from Single Images

November 8, 2024

著者: Yuze He, Yanning Zhou, Wang Zhao, Zhongkai Wu, Kaiwen Xiao, Wei Yang, Yong-Jin Liu, Xiao Han

cs.AI

要旨

私たちは、単一の画像から意味論的に分解された高品質な3Dキャラクターを生成する革新的なパイプラインであるStdGENを提案します。これにより、仮想現実、ゲーム、映画製作など、幅広いアプリケーションが可能となります。従来の手法とは異なり、限られた分解能、満足できない品質、および長い最適化時間に苦しむ従来の手法とは異なり、StdGENは分解可能性、効果的性能、効率性を備えています。つまり、複雑な詳細を持つ3Dキャラクターを、本体、服、髪の毛などの意味的に分離された構成要素として3分で生成します。StdGENの中心には、我々が提案するSemantic-aware Large Reconstruction Model（S-LRM）があります。これは、複数の視点からの画像からジオメトリ、色、および意味をフィードフォワード方式で共同して再構築するTransformerベースの汎用モデルです。我々のS-LRMによって再構築されたハイブリッド暗黙のフィールドからメッシュを取得するために、微分可能な多層意味表面抽出スキームが導入されています。さらに、特化した効率的な多視点拡散モデルと反復的な多層表面精緻モジュールがパイプラインに統合され、高品質で分解可能な3Dキャラクター生成を容易にします。幅広い実験により、3Dアニメキャラクター生成における最先端のパフォーマンスが実証され、既存のベースラインをジオメトリ、テクスチャ、および分解性において大幅に上回っています。StdGENは、即座に使用可能な意味論的に分解された3Dキャラクターを提供し、幅広いアプリケーションに柔軟なカスタマイズを可能にします。プロジェクトページ：https://stdgen.github.io

English

We present StdGEN, an innovative pipeline for generating semantically decomposed high-quality 3D characters from single images, enabling broad applications in virtual reality, gaming, and filmmaking, etc. Unlike previous methods which struggle with limited decomposability, unsatisfactory quality, and long optimization times, StdGEN features decomposability, effectiveness and efficiency; i.e., it generates intricately detailed 3D characters with separated semantic components such as the body, clothes, and hair, in three minutes. At the core of StdGEN is our proposed Semantic-aware Large Reconstruction Model (S-LRM), a transformer-based generalizable model that jointly reconstructs geometry, color and semantics from multi-view images in a feed-forward manner. A differentiable multi-layer semantic surface extraction scheme is introduced to acquire meshes from hybrid implicit fields reconstructed by our S-LRM. Additionally, a specialized efficient multi-view diffusion model and an iterative multi-layer surface refinement module are integrated into the pipeline to facilitate high-quality, decomposable 3D character generation. Extensive experiments demonstrate our state-of-the-art performance in 3D anime character generation, surpassing existing baselines by a significant margin in geometry, texture and decomposability. StdGEN offers ready-to-use semantic-decomposed 3D characters and enables flexible customization for a wide range of applications. Project page: https://stdgen.github.io