DC3DO: Diffusieclassificator voor 3D-objecten

DC3DO: Diffusion Classifier for 3D Objects

August 13, 2024

Auteurs: Nursena Koprucu, Meher Shashwat Nigam, Shicheng Xu, Biruk Abere, Gabriele Dominici, Andrew Rodriguez, Sharvaree Vadgam, Berfin Inal, Alberto Tono

cs.AI

Samenvatting

Geïnspireerd door Geoffrey Hintons nadruk op generatieve modellering - "Om vormen te herkennen, leer ze eerst te genereren" - onderzoeken we het gebruik van 3D-diffusiemodellen voor objectclassificatie. Door gebruik te maken van de dichtheidsschattingen van deze modellen, maakt onze aanpak, de Diffusion Classifier for 3D Objects (DC3DO), zero-shot classificatie van 3D-vormen mogelijk zonder aanvullende training. Gemiddeld behaalt onze methode een verbetering van 12,5 procent ten opzichte van multiview-tegenhangers, wat superieure multimodale redenering aantoont in vergelijking met discriminerende benaderingen. DC3DO maakt gebruik van een klasse-conditioneel diffusiemodel getraind op ShapeNet, en we voeren inferenties uit op puntenwolken van stoelen en auto's. Dit werk benadrukt het potentieel van generatieve modellen in 3D-objectclassificatie.

English

Inspired by Geoffrey Hinton emphasis on generative modeling, To recognize shapes, first learn to generate them, we explore the use of 3D diffusion models for object classification. Leveraging the density estimates from these models, our approach, the Diffusion Classifier for 3D Objects (DC3DO), enables zero-shot classification of 3D shapes without additional training. On average, our method achieves a 12.5 percent improvement compared to its multiview counterparts, demonstrating superior multimodal reasoning over discriminative approaches. DC3DO employs a class-conditional diffusion model trained on ShapeNet, and we run inferences on point clouds of chairs and cars. This work highlights the potential of generative models in 3D object classification.