DC3DO: Диффузионный классификатор для 3D объектов

DC3DO: Diffusion Classifier for 3D Objects

August 13, 2024

Авторы: Nursena Koprucu, Meher Shashwat Nigam, Shicheng Xu, Biruk Abere, Gabriele Dominici, Andrew Rodriguez, Sharvaree Vadgam, Berfin Inal, Alberto Tono

cs.AI

Аннотация

Вдохновленные акцентом Джеффри Хинтона на генеративном моделировании "Чтобы распознавать формы, сначала научитесь их создавать", мы исследуем применение 3D диффузионных моделей для классификации объектов. Используя оценки плотности от этих моделей, наш подход, Классификатор Диффузии для 3D объектов (DC3DO), позволяет классифицировать 3D формы без дополнительного обучения. В среднем наш метод достигает улучшения на 12.5 процента по сравнению с его мультивидовыми аналогами, демонстрируя превосходное мультимодальное мышление по сравнению с дискриминативными подходами. DC3DO использует классово-условную диффузионную модель, обученную на ShapeNet, и мы проводим выводы на облаках точек стульев и автомобилей. Эта работа подчеркивает потенциал генеративных моделей в классификации 3D объектов.

English

Inspired by Geoffrey Hinton emphasis on generative modeling, To recognize shapes, first learn to generate them, we explore the use of 3D diffusion models for object classification. Leveraging the density estimates from these models, our approach, the Diffusion Classifier for 3D Objects (DC3DO), enables zero-shot classification of 3D shapes without additional training. On average, our method achieves a 12.5 percent improvement compared to its multiview counterparts, demonstrating superior multimodal reasoning over discriminative approaches. DC3DO employs a class-conditional diffusion model trained on ShapeNet, and we run inferences on point clouds of chairs and cars. This work highlights the potential of generative models in 3D object classification.