객체는 64x64 픽셀의 가치가 있다: 이미지 확산을 통한 3D 객체 생성

An Object is Worth 64x64 Pixels: Generating 3D Object via Image Diffusion

August 6, 2024

저자: Xingguang Yan, Han-Hung Lee, Ziyu Wan, Angel X. Chang

cs.AI

초록

우리는 "Object Images"라는 용어로 표현된 표면 기하학, 외관 및 패치 구조를 64x64 픽셀 이미지 내에 포함하는 새로운 접근 방식을 소개합니다. 이 방법을 통해 복잡한 3D 모양을 더 관리하기 쉬운 2D 형식으로 효과적으로 변환합니다. 이를 통해 다각형 메시에 내재된 기하학적 및 의미론적 불규칙성의 어려움에 대처합니다. 이 방법을 사용하면 Diffusion Transformers와 같은 이미지 생성 모델을 직접 3D 모양 생성에 사용할 수 있습니다. ABO 데이터셋에서 평가한 결과, 패치 구조가 있는 생성된 모양은 최근의 3D 생성 모델과 유사한 포인트 클라우드 FID를 달성하며 PBR 소재 생성을 자연스럽게 지원합니다.

English

We introduce a new approach for generating realistic 3D models with UV maps through a representation termed "Object Images." This approach encapsulates surface geometry, appearance, and patch structures within a 64x64 pixel image, effectively converting complex 3D shapes into a more manageable 2D format. By doing so, we address the challenges of both geometric and semantic irregularity inherent in polygonal meshes. This method allows us to use image generation models, such as Diffusion Transformers, directly for 3D shape generation. Evaluated on the ABO dataset, our generated shapes with patch structures achieve point cloud FID comparable to recent 3D generative models, while naturally supporting PBR material generation.