DC3DO: Classificatore a Diffusione per Oggetti 3D

DC3DO: Diffusion Classifier for 3D Objects

August 13, 2024

Autori: Nursena Koprucu, Meher Shashwat Nigam, Shicheng Xu, Biruk Abere, Gabriele Dominici, Andrew Rodriguez, Sharvaree Vadgam, Berfin Inal, Alberto Tono

cs.AI

Abstract

Ispirati dall'enfasi di Geoffrey Hinton sulla modellazione generativa, "Per riconoscere le forme, prima impara a generarle", esploriamo l'uso di modelli di diffusione 3D per la classificazione di oggetti. Sfruttando le stime di densità di questi modelli, il nostro approccio, il Classificatore a Diffusione per Oggetti 3D (DC3DO), consente la classificazione zero-shot di forme 3D senza ulteriore addestramento. In media, il nostro metodo ottiene un miglioramento del 12,5% rispetto alle controparti multivista, dimostrando un ragionamento multimodale superiore rispetto agli approcci discriminativi. DC3DO utilizza un modello di diffusione condizionato alla classe addestrato su ShapeNet, e eseguiamo inferenze su nuvole di punti di sedie e automobili. Questo lavoro evidenzia il potenziale dei modelli generativi nella classificazione di oggetti 3D.

English

Inspired by Geoffrey Hinton emphasis on generative modeling, To recognize shapes, first learn to generate them, we explore the use of 3D diffusion models for object classification. Leveraging the density estimates from these models, our approach, the Diffusion Classifier for 3D Objects (DC3DO), enables zero-shot classification of 3D shapes without additional training. On average, our method achieves a 12.5 percent improvement compared to its multiview counterparts, demonstrating superior multimodal reasoning over discriminative approaches. DC3DO employs a class-conditional diffusion model trained on ShapeNet, and we run inferences on point clouds of chairs and cars. This work highlights the potential of generative models in 3D object classification.