Sobre los Modelos Multimodales de Gran Escala como Clasificadores de Imágenes de Mundo Abierto

On Large Multimodal Models as Open-World Image Classifiers

March 27, 2025

Autores: Alessandro Conti, Massimiliano Mancini, Enrico Fini, Yiming Wang, Paolo Rota, Elisa Ricci

cs.AI

Resumen

La clasificación tradicional de imágenes requiere una lista predefinida de categorías semánticas. En contraste, los Modelos Multimodales de Gran Escala (LMMs) pueden eludir este requisito al clasificar imágenes directamente utilizando lenguaje natural (por ejemplo, respondiendo a la pregunta "¿Cuál es el objeto principal en la imagen?"). A pesar de esta capacidad notable, la mayoría de los estudios existentes sobre el rendimiento de clasificación de los LMMs son sorprendentemente limitados en alcance, a menudo asumiendo un entorno de mundo cerrado con un conjunto predefinido de categorías. En este trabajo, abordamos esta brecha evaluando exhaustivamente el rendimiento de clasificación de los LMMs en un entorno verdaderamente de mundo abierto. Primero formalizamos la tarea e introducimos un protocolo de evaluación, definiendo varias métricas para evaluar la alineación entre las clases predichas y las verdaderas. Luego evaluamos 13 modelos en 10 benchmarks, abarcando clases prototípicas, no prototípicas, de grano fino y de grano muy fino, demostrando los desafíos que enfrentan los LMMs en esta tarea. Análisis adicionales basados en las métricas propuestas revelan los tipos de errores que cometen los LMMs, destacando desafíos relacionados con la granularidad y las capacidades de grano fino, y mostrando cómo el uso de indicaciones y razonamientos personalizados puede mitigarlos.

English

Traditional image classification requires a predefined list of semantic categories. In contrast, Large Multimodal Models (LMMs) can sidestep this requirement by classifying images directly using natural language (e.g., answering the prompt "What is the main object in the image?"). Despite this remarkable capability, most existing studies on LMM classification performance are surprisingly limited in scope, often assuming a closed-world setting with a predefined set of categories. In this work, we address this gap by thoroughly evaluating LMM classification performance in a truly open-world setting. We first formalize the task and introduce an evaluation protocol, defining various metrics to assess the alignment between predicted and ground truth classes. We then evaluate 13 models across 10 benchmarks, encompassing prototypical, non-prototypical, fine-grained, and very fine-grained classes, demonstrating the challenges LMMs face in this task. Further analyses based on the proposed metrics reveal the types of errors LMMs make, highlighting challenges related to granularity and fine-grained capabilities, showing how tailored prompting and reasoning can alleviate them.