Kiss3DGen: 画像拡散モデルを3Dアセット生成に転用する

Kiss3DGen: Repurposing Image Diffusion Models for 3D Asset Generation

March 3, 2025

著者: Jiantao Lin, Xin Yang, Meixi Chen, Yingjie Xu, Dongyu Yan, Leyi Wu, Xinli Xu, Lie XU, Shunsi Zhang, Ying-Cong Chen

cs.AI

要旨

Diffusionモデルは2D画像の生成において大きな成功を収めてきました。しかし、3Dコンテンツ生成の品質と汎用性は依然として限定的です。最先端の手法では、大規模な3Dアセットをトレーニングに必要とすることが多く、これらを収集することは困難です。本研究では、Kiss3DGen（Keep It Simple and Straightforward in 3D Generation）を紹介します。これは、よく訓練された2D画像Diffusionモデルを3D生成に転用することで、3Dオブジェクトの生成、編集、および強化を行う効率的なフレームワークです。具体的には、Diffusionモデルを微調整して「3Dバンドル画像」を生成します。これは、複数の視点からの画像とそれに対応する法線マップで構成されるタイル表現です。法線マップは3Dメッシュの再構築に使用され、複数視点画像はテクスチャマッピングを提供し、完全な3Dモデルを生成します。このシンプルな方法は、3D生成問題を2D画像生成タスクに効果的に変換し、事前訓練済みDiffusionモデルの知識を最大限に活用します。さらに、Kiss3DGenモデルが様々なDiffusionモデル技術と互換性があり、3D編集、メッシュおよびテクスチャの強化などの高度な機能を可能にすることを示します。広範な実験を通じて、本手法の有効性を実証し、高品質な3Dモデルを効率的に生成する能力を示します。

English

Diffusion models have achieved great success in generating 2D images. However, the quality and generalizability of 3D content generation remain limited. State-of-the-art methods often require large-scale 3D assets for training, which are challenging to collect. In this work, we introduce Kiss3DGen (Keep It Simple and Straightforward in 3D Generation), an efficient framework for generating, editing, and enhancing 3D objects by repurposing a well-trained 2D image diffusion model for 3D generation. Specifically, we fine-tune a diffusion model to generate ''3D Bundle Image'', a tiled representation composed of multi-view images and their corresponding normal maps. The normal maps are then used to reconstruct a 3D mesh, and the multi-view images provide texture mapping, resulting in a complete 3D model. This simple method effectively transforms the 3D generation problem into a 2D image generation task, maximizing the utilization of knowledge in pretrained diffusion models. Furthermore, we demonstrate that our Kiss3DGen model is compatible with various diffusion model techniques, enabling advanced features such as 3D editing, mesh and texture enhancement, etc. Through extensive experiments, we demonstrate the effectiveness of our approach, showcasing its ability to produce high-quality 3D models efficiently.