HyperDreamer: 単一画像からの超現実的な3Dコンテンツ生成と編集

HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image

December 7, 2023

著者: Tong Wu, Zhibing Li, Shuai Yang, Pan Zhang, Xinggang Pan, Jiaqi Wang, Dahua Lin, Ziwei Liu

cs.AI

要旨

単一画像からの3Dコンテンツ生成は、長年の課題でありながら非常に望まれるタスクである。最近の進展により、2D拡散事前分布が導入され、合理的な結果が得られるようになった。しかし、既存の手法は生成後の使用において十分に超現実的ではなく、ユーザーは生成された3Dコンテンツを全方位から閲覧、レンダリング、編集することができない。これらの課題に対処するため、我々はHyperDreamerを導入し、いくつかの重要な設計と魅力的な特性を備えている：1) 可視性：高解像度テクスチャを伴う360度メッシュモデリングにより、全方位の観察点から視覚的に魅力的な3Dモデルを作成可能。2) レンダリング可能：細粒度のセマンティックセグメンテーションとデータ駆動型事前分布をガイダンスとして組み込み、合理的なアルベド、粗さ、鏡面反射特性を学習し、セマンティックを意識した任意の材質推定を実現。3) 編集可能：生成されたモデルまたはユーザー自身のデータに対して、ユーザーは数回のクリックで任意の領域をインタラクティブに選択し、テキストベースのガイダンスを用いて効率的にテクスチャを編集可能。大規模な実験により、HyperDreamerが高解像度テクスチャを伴う領域認識材質のモデリングとユーザーフレンドリーな編集を可能にする効果を実証。我々は、HyperDreamerが3Dコンテンツ生成を進化させ、様々な分野での応用が見込まれると信じている。

English

3D content creation from a single image is a long-standing yet highly desirable task. Recent advances introduce 2D diffusion priors, yielding reasonable results. However, existing methods are not hyper-realistic enough for post-generation usage, as users cannot view, render and edit the resulting 3D content from a full range. To address these challenges, we introduce HyperDreamer with several key designs and appealing properties: 1) Viewable: 360 degree mesh modeling with high-resolution textures enables the creation of visually compelling 3D models from a full range of observation points. 2) Renderable: Fine-grained semantic segmentation and data-driven priors are incorporated as guidance to learn reasonable albedo, roughness, and specular properties of the materials, enabling semantic-aware arbitrary material estimation. 3) Editable: For a generated model or their own data, users can interactively select any region via a few clicks and efficiently edit the texture with text-based guidance. Extensive experiments demonstrate the effectiveness of HyperDreamer in modeling region-aware materials with high-resolution textures and enabling user-friendly editing. We believe that HyperDreamer holds promise for advancing 3D content creation and finding applications in various domains.