Kiss3DGen: 이미지 확산 모델을 3D 자산 생성에 재활용하기

Kiss3DGen: Repurposing Image Diffusion Models for 3D Asset Generation

March 3, 2025

저자: Jiantao Lin, Xin Yang, Meixi Chen, Yingjie Xu, Dongyu Yan, Leyi Wu, Xinli Xu, Lie XU, Shunsi Zhang, Ying-Cong Chen

cs.AI

초록

디퓨전 모델은 2D 이미지 생성에서 큰 성공을 거두었습니다. 그러나 3D 콘텐츠 생성의 품질과 일반화 가능성은 여전히 제한적입니다. 최신 방법들은 대규모 3D 자산을 학습에 필요로 하는데, 이를 수집하는 것은 어려운 과제입니다. 본 연구에서는 잘 학습된 2D 이미지 디퓨전 모델을 3D 생성에 재활용하여 3D 객체를 생성, 편집 및 향상시키는 효율적인 프레임워크인 Kiss3DGen(Keep It Simple and Straightforward in 3D Generation)을 소개합니다. 구체적으로, 우리는 디퓨전 모델을 미세 조정하여 다중 뷰 이미지와 해당 노멀 맵으로 구성된 "3D 번들 이미지"를 생성합니다. 노멀 맵은 3D 메시를 재구성하는 데 사용되며, 다중 뷰 이미지는 텍스처 매핑을 제공하여 완전한 3D 모델을 생성합니다. 이 간단한 방법은 3D 생성 문제를 2D 이미지 생성 작업으로 효과적으로 변환하여 사전 학습된 디퓨전 모델의 지식을 최대한 활용합니다. 또한, 우리의 Kiss3DGen 모델은 다양한 디퓨전 모델 기술과 호환되어 3D 편집, 메시 및 텍스처 향상과 같은 고급 기능을 가능하게 합니다. 광범위한 실험을 통해 우리는 이 접근법의 효과를 입증하고, 고품질 3D 모델을 효율적으로 생성할 수 있는 능력을 보여줍니다.

English

Diffusion models have achieved great success in generating 2D images. However, the quality and generalizability of 3D content generation remain limited. State-of-the-art methods often require large-scale 3D assets for training, which are challenging to collect. In this work, we introduce Kiss3DGen (Keep It Simple and Straightforward in 3D Generation), an efficient framework for generating, editing, and enhancing 3D objects by repurposing a well-trained 2D image diffusion model for 3D generation. Specifically, we fine-tune a diffusion model to generate ''3D Bundle Image'', a tiled representation composed of multi-view images and their corresponding normal maps. The normal maps are then used to reconstruct a 3D mesh, and the multi-view images provide texture mapping, resulting in a complete 3D model. This simple method effectively transforms the 3D generation problem into a 2D image generation task, maximizing the utilization of knowledge in pretrained diffusion models. Furthermore, we demonstrate that our Kiss3DGen model is compatible with various diffusion model techniques, enabling advanced features such as 3D editing, mesh and texture enhancement, etc. Through extensive experiments, we demonstrate the effectiveness of our approach, showcasing its ability to produce high-quality 3D models efficiently.