DC3DO: 3D 객체를 위한 확산 분류기

DC3DO: Diffusion Classifier for 3D Objects

August 13, 2024

저자: Nursena Koprucu, Meher Shashwat Nigam, Shicheng Xu, Biruk Abere, Gabriele Dominici, Andrew Rodriguez, Sharvaree Vadgam, Berfin Inal, Alberto Tono

cs.AI

초록

Geoffrey Hinton의 생성 모델링 강조에서 영감을 받아 "모양을 인식하려면 먼저 그것들을 생성하는 법을 배워야 한다"는 원칙을 탐구하기 위해 3D 확산 모델의 사용을 탐구하여 객체 분류에 적용했습니다. 이러한 모델들로부터 밀도 추정치를 활용하여 접근하는 DC3DO(Diffusion Classifier for 3D Objects)는 추가적인 학습 없이 3D 모양의 제로샷 분류를 가능하게 합니다. 평균적으로, 우리의 방법은 다중뷰 대조본에 비해 12.5%의 성능 향상을 달성하며, 판별적 접근보다 우수한 다중모달 추론을 보여줍니다. DC3DO는 ShapeNet에서 훈련된 클래스 조건부 확산 모델을 사용하며, 의자와 자동차의 포인트 클라우드에서 추론을 실행합니다. 본 연구는 3D 객체 분류에서 생성 모델의 잠재력을 강조합니다.

English

Inspired by Geoffrey Hinton emphasis on generative modeling, To recognize shapes, first learn to generate them, we explore the use of 3D diffusion models for object classification. Leveraging the density estimates from these models, our approach, the Diffusion Classifier for 3D Objects (DC3DO), enables zero-shot classification of 3D shapes without additional training. On average, our method achieves a 12.5 percent improvement compared to its multiview counterparts, demonstrating superior multimodal reasoning over discriminative approaches. DC3DO employs a class-conditional diffusion model trained on ShapeNet, and we run inferences on point clouds of chairs and cars. This work highlights the potential of generative models in 3D object classification.