DC3DO: Clasificador de Difusión para Objetos 3D

DC3DO: Diffusion Classifier for 3D Objects

August 13, 2024

Autores: Nursena Koprucu, Meher Shashwat Nigam, Shicheng Xu, Biruk Abere, Gabriele Dominici, Andrew Rodriguez, Sharvaree Vadgam, Berfin Inal, Alberto Tono

cs.AI

Resumen

Inspirado por el énfasis de Geoffrey Hinton en la modelización generativa, "Para reconocer formas, primero aprende a generarlas", exploramos el uso de modelos de difusión en 3D para la clasificación de objetos. Aprovechando las estimaciones de densidad de estos modelos, nuestro enfoque, el Clasificador de Difusión para Objetos en 3D (DC3DO), permite la clasificación de formas en 3D sin entrenamiento adicional. En promedio, nuestro método logra una mejora del 12.5 por ciento en comparación con sus contrapartes de múltiples vistas, demostrando un razonamiento multimodal superior sobre enfoques discriminativos. DC3DO emplea un modelo de difusión condicional a la clase entrenado en ShapeNet, y realizamos inferencias en nubes de puntos de sillas y coches. Este trabajo destaca el potencial de los modelos generativos en la clasificación de objetos en 3D.

English

Inspired by Geoffrey Hinton emphasis on generative modeling, To recognize shapes, first learn to generate them, we explore the use of 3D diffusion models for object classification. Leveraging the density estimates from these models, our approach, the Diffusion Classifier for 3D Objects (DC3DO), enables zero-shot classification of 3D shapes without additional training. On average, our method achieves a 12.5 percent improvement compared to its multiview counterparts, demonstrating superior multimodal reasoning over discriminative approaches. DC3DO employs a class-conditional diffusion model trained on ShapeNet, and we run inferences on point clouds of chairs and cars. This work highlights the potential of generative models in 3D object classification.