Over Grote Multimodale Modellen als Open-Wereld Beeldclassificatoren

On Large Multimodal Models as Open-World Image Classifiers

March 27, 2025

Auteurs: Alessandro Conti, Massimiliano Mancini, Enrico Fini, Yiming Wang, Paolo Rota, Elisa Ricci

cs.AI

Samenvatting

Traditionele beeldclassificatie vereist een vooraf gedefinieerde lijst van semantische categorieën. In tegenstelling daarmee kunnen Large Multimodal Models (LMMs) deze vereiste omzeilen door afbeeldingen direct te classificeren met behulp van natuurlijke taal (bijvoorbeeld door de vraag "Wat is het hoofdobject in de afbeelding?" te beantwoorden). Ondanks deze opmerkelijke mogelijkheid zijn de meeste bestaande studies over de classificatieprestaties van LMMs verrassend beperkt in reikwijdte, waarbij vaak wordt uitgegaan van een gesloten wereld met een vooraf gedefinieerde set categorieën. In dit werk pakken we deze leemte aan door de classificatieprestaties van LMMs grondig te evalueren in een werkelijk open wereld. We formaliseren eerst de taak en introduceren een evaluatieprotocol, waarbij we verschillende metrieken definiëren om de overeenstemming tussen voorspelde en grondwaarheidklassen te beoordelen. Vervolgens evalueren we 13 modellen over 10 benchmarks, waarbij prototypische, niet-prototypische, fijnmazige en zeer fijnmazige klassen worden meegenomen, wat de uitdagingen illustreert waar LMMs bij deze taak voor staan. Verdere analyses op basis van de voorgestelde metrieken onthullen de soorten fouten die LMMs maken, waarbij uitdagingen met betrekking tot granulariteit en fijnmazige mogelijkheden worden belicht, en laten zien hoe aangepaste prompting en redenering deze kunnen verlichten.

English

Traditional image classification requires a predefined list of semantic categories. In contrast, Large Multimodal Models (LMMs) can sidestep this requirement by classifying images directly using natural language (e.g., answering the prompt "What is the main object in the image?"). Despite this remarkable capability, most existing studies on LMM classification performance are surprisingly limited in scope, often assuming a closed-world setting with a predefined set of categories. In this work, we address this gap by thoroughly evaluating LMM classification performance in a truly open-world setting. We first formalize the task and introduce an evaluation protocol, defining various metrics to assess the alignment between predicted and ground truth classes. We then evaluate 13 models across 10 benchmarks, encompassing prototypical, non-prototypical, fine-grained, and very fine-grained classes, demonstrating the challenges LMMs face in this task. Further analyses based on the proposed metrics reveal the types of errors LMMs make, highlighting challenges related to granularity and fine-grained capabilities, showing how tailored prompting and reasoning can alleviate them.