DC3DO: Diffusionsklassifizierer für 3D-Objekte

DC3DO: Diffusion Classifier for 3D Objects

August 13, 2024

Autoren: Nursena Koprucu, Meher Shashwat Nigam, Shicheng Xu, Biruk Abere, Gabriele Dominici, Andrew Rodriguez, Sharvaree Vadgam, Berfin Inal, Alberto Tono

cs.AI

Zusammenfassung

Angeregt durch Geoffrey Hintons Betonung der generativen Modellierung, „Um Formen zu erkennen, lerne zuerst, sie zu generieren“, erforschen wir den Einsatz von 3D-Diffusionsmodellen für die Objektklassifizierung. Durch die Nutzung der Dichteschätzungen aus diesen Modellen ermöglicht unser Ansatz, der Diffusionsklassifizierer für 3D-Objekte (DC3DO), die Klassifizierung von 3D-Formen ohne zusätzliches Training. Im Durchschnitt erzielt unsere Methode eine Verbesserung von 12,5 Prozent im Vergleich zu ihren Multiansichtsgegenstücken und zeigt damit eine überlegene multimodale Schlussfolgerung gegenüber diskriminativen Ansätzen. DC3DO verwendet ein klassenbedingtes Diffusionsmodell, das auf ShapeNet trainiert ist, und wir führen Inferenzen an Punktwolken von Stühlen und Autos durch. Diese Arbeit verdeutlicht das Potenzial generativer Modelle in der 3D-Objektklassifizierung.

English

Inspired by Geoffrey Hinton emphasis on generative modeling, To recognize shapes, first learn to generate them, we explore the use of 3D diffusion models for object classification. Leveraging the density estimates from these models, our approach, the Diffusion Classifier for 3D Objects (DC3DO), enables zero-shot classification of 3D shapes without additional training. On average, our method achieves a 12.5 percent improvement compared to its multiview counterparts, demonstrating superior multimodal reasoning over discriminative approaches. DC3DO employs a class-conditional diffusion model trained on ShapeNet, and we run inferences on point clouds of chairs and cars. This work highlights the potential of generative models in 3D object classification.