DC3DO : Classificateur par diffusion pour objets 3D

DC3DO: Diffusion Classifier for 3D Objects

August 13, 2024

Auteurs: Nursena Koprucu, Meher Shashwat Nigam, Shicheng Xu, Biruk Abere, Gabriele Dominici, Andrew Rodriguez, Sharvaree Vadgam, Berfin Inal, Alberto Tono

cs.AI

Résumé

Inspirés par l'accent mis par Geoffrey Hinton sur la modélisation générative, "Pour reconnaître les formes, apprenez d'abord à les générer", nous explorons l'utilisation de modèles de diffusion 3D pour la classification d'objets. En exploitant les estimations de densité de ces modèles, notre approche, le Classificateur par Diffusion pour Objets 3D (DC3DO), permet une classification zero-shot de formes 3D sans entraînement supplémentaire. En moyenne, notre méthode obtient une amélioration de 12,5 % par rapport à ses homologues multivues, démontrant un raisonnement multimodal supérieur aux approches discriminatives. DC3DO utilise un modèle de diffusion conditionné par classe entraîné sur ShapeNet, et nous effectuons des inférences sur des nuages de points de chaises et de voitures. Ce travail met en lumière le potentiel des modèles génératifs dans la classification d'objets 3D.

English

Inspired by Geoffrey Hinton emphasis on generative modeling, To recognize shapes, first learn to generate them, we explore the use of 3D diffusion models for object classification. Leveraging the density estimates from these models, our approach, the Diffusion Classifier for 3D Objects (DC3DO), enables zero-shot classification of 3D shapes without additional training. On average, our method achieves a 12.5 percent improvement compared to its multiview counterparts, demonstrating superior multimodal reasoning over discriminative approaches. DC3DO employs a class-conditional diffusion model trained on ShapeNet, and we run inferences on point clouds of chairs and cars. This work highlights the potential of generative models in 3D object classification.