DC3DO: Classificador de Difusão para Objetos 3D

DC3DO: Diffusion Classifier for 3D Objects

August 13, 2024

Autores: Nursena Koprucu, Meher Shashwat Nigam, Shicheng Xu, Biruk Abere, Gabriele Dominici, Andrew Rodriguez, Sharvaree Vadgam, Berfin Inal, Alberto Tono

cs.AI

Resumo

Inspirados pelo destaque de Geoffrey Hinton na modelagem generativa, "Para reconhecer formas, primeiro aprenda a gerá-las", exploramos o uso de modelos de difusão 3D para classificação de objetos. Aproveitando as estimativas de densidade desses modelos, nossa abordagem, o Classificador de Difusão para Objetos 3D (DC3DO), possibilita a classificação de formas 3D sem treinamento adicional. Em média, nosso método alcança uma melhoria de 12,5 por cento em comparação com seus equivalentes de múltiplas visualizações, demonstrando um raciocínio multimodal superior em relação às abordagens discriminativas. O DC3DO emprega um modelo de difusão condicional à classe treinado no ShapeNet, e realizamos inferências em nuvens de pontos de cadeiras e carros. Este trabalho destaca o potencial de modelos generativos na classificação de objetos 3D.

English

Inspired by Geoffrey Hinton emphasis on generative modeling, To recognize shapes, first learn to generate them, we explore the use of 3D diffusion models for object classification. Leveraging the density estimates from these models, our approach, the Diffusion Classifier for 3D Objects (DC3DO), enables zero-shot classification of 3D shapes without additional training. On average, our method achieves a 12.5 percent improvement compared to its multiview counterparts, demonstrating superior multimodal reasoning over discriminative approaches. DC3DO employs a class-conditional diffusion model trained on ShapeNet, and we run inferences on point clouds of chairs and cars. This work highlights the potential of generative models in 3D object classification.