DreamPolisher: 幾何学的拡散を介した高品質なテキストから3D生成へのアプローチ

DreamPolisher: Towards High-Quality Text-to-3D Generation via Geometric Diffusion

March 25, 2024

著者: Yuanze Lin, Ronald Clark, Philip Torr

cs.AI

要旨

本論文では、幾何学的ガイダンスを備えた新しいガウススプラッティングベースの手法であるDreamPolisherを提案する。この手法は、テキスト記述からクロスビュー一貫性と精緻なディテールを学習するために特別に設計されている。テキストから3Dを生成する手法の最近の進展は有望であるものの、既存の手法ではビュー間の一貫性とテクスチャの豊かさを確保できないことが多い。特に、テキスト入力のみを扱う手法においてこの問題が顕著である。この課題に対処するため、ビュー間の幾何学的な一貫性を強化する2段階のガウススプラッティングベースのアプローチを提案する。最初に、粗い3D生成が幾何学的な最適化によって洗練される。その後、幾何学的な一貫性項と組み合わせたControlNet駆動のリファイナを使用して、生成された3Dアセットのテクスチャの忠実度と全体的な一貫性を向上させる。様々なオブジェクトカテゴリにわたる多様なテキストプロンプトを用いた実証評価により、DreamPolisherがテキスト指示の意味論に密接に沿った一貫性とリアリティを備えた3Dオブジェクトを生成する有効性が示された。

English

We present DreamPolisher, a novel Gaussian Splatting based method with geometric guidance, tailored to learn cross-view consistency and intricate detail from textual descriptions. While recent progress on text-to-3D generation methods have been promising, prevailing methods often fail to ensure view-consistency and textural richness. This problem becomes particularly noticeable for methods that work with text input alone. To address this, we propose a two-stage Gaussian Splatting based approach that enforces geometric consistency among views. Initially, a coarse 3D generation undergoes refinement via geometric optimization. Subsequently, we use a ControlNet driven refiner coupled with the geometric consistency term to improve both texture fidelity and overall consistency of the generated 3D asset. Empirical evaluations across diverse textual prompts spanning various object categories demonstrate the efficacy of DreamPolisher in generating consistent and realistic 3D objects, aligning closely with the semantics of the textual instructions.