DC3DO: 3Dオブジェクトのための拡散分類器

DC3DO: Diffusion Classifier for 3D Objects

August 13, 2024

著者: Nursena Koprucu, Meher Shashwat Nigam, Shicheng Xu, Biruk Abere, Gabriele Dominici, Andrew Rodriguez, Sharvaree Vadgam, Berfin Inal, Alberto Tono

cs.AI

要旨

ジェフリー・ヒントンが強調した「形状を認識するには、まずそれを生成することを学べ」という生成モデリングの考え方に触発され、我々は3次元拡散モデルを用いた物体分類の可能性を探求した。これらのモデルから得られる密度推定を活用し、我々のアプローチである「3次元物体のための拡散分類器（DC3DO）」は、追加の学習なしで3次元形状のゼロショット分類を可能にする。平均して、本手法はマルチビュー方式と比較して12.5％の性能向上を達成し、識別的アプローチを超える優れたマルチモーダル推論能力を示している。DC3DOはShapeNetで学習されたクラス条件付き拡散モデルを採用し、椅子と車の点群に対して推論を実行する。本研究は、3次元物体分類における生成モデルの可能性を浮き彫りにしている。

English

Inspired by Geoffrey Hinton emphasis on generative modeling, To recognize shapes, first learn to generate them, we explore the use of 3D diffusion models for object classification. Leveraging the density estimates from these models, our approach, the Diffusion Classifier for 3D Objects (DC3DO), enables zero-shot classification of 3D shapes without additional training. On average, our method achieves a 12.5 percent improvement compared to its multiview counterparts, demonstrating superior multimodal reasoning over discriminative approaches. DC3DO employs a class-conditional diffusion model trained on ShapeNet, and we run inferences on point clouds of chairs and cars. This work highlights the potential of generative models in 3D object classification.