Sobre Modelos Multimodais de Grande Escala como Classificadores de Imagens de Mundo Aberto

On Large Multimodal Models as Open-World Image Classifiers

March 27, 2025

Autores: Alessandro Conti, Massimiliano Mancini, Enrico Fini, Yiming Wang, Paolo Rota, Elisa Ricci

cs.AI

Resumo

A classificação tradicional de imagens requer uma lista predefinida de categorias semânticas. Em contraste, os Modelos Multimodais de Grande Escala (LMMs) podem contornar essa exigência ao classificar imagens diretamente usando linguagem natural (por exemplo, respondendo ao prompt "Qual é o objeto principal na imagem?"). Apesar dessa capacidade notável, a maioria dos estudos existentes sobre o desempenho de classificação dos LMMs é surpreendentemente limitada em escopo, frequentemente assumindo um cenário de mundo fechado com um conjunto predefinido de categorias. Neste trabalho, abordamos essa lacuna ao avaliar minuciosamente o desempenho de classificação dos LMMs em um cenário verdadeiramente de mundo aberto. Primeiro, formalizamos a tarefa e introduzimos um protocolo de avaliação, definindo várias métricas para avaliar o alinhamento entre as classes previstas e as classes reais. Em seguida, avaliamos 13 modelos em 10 benchmarks, abrangendo classes prototípicas, não prototípicas, de granularidade fina e de granularidade muito fina, demonstrando os desafios que os LMMs enfrentam nessa tarefa. Análises adicionais baseadas nas métricas propostas revelam os tipos de erros que os LMMs cometem, destacando desafios relacionados à granularidade e às capacidades de granularidade fina, mostrando como prompts e raciocínios personalizados podem mitigá-los.

English

Traditional image classification requires a predefined list of semantic categories. In contrast, Large Multimodal Models (LMMs) can sidestep this requirement by classifying images directly using natural language (e.g., answering the prompt "What is the main object in the image?"). Despite this remarkable capability, most existing studies on LMM classification performance are surprisingly limited in scope, often assuming a closed-world setting with a predefined set of categories. In this work, we address this gap by thoroughly evaluating LMM classification performance in a truly open-world setting. We first formalize the task and introduce an evaluation protocol, defining various metrics to assess the alignment between predicted and ground truth classes. We then evaluate 13 models across 10 benchmarks, encompassing prototypical, non-prototypical, fine-grained, and very fine-grained classes, demonstrating the challenges LMMs face in this task. Further analyses based on the proposed metrics reveal the types of errors LMMs make, highlighting challenges related to granularity and fine-grained capabilities, showing how tailored prompting and reasoning can alleviate them.