О крупных мультимодальных моделях как классификаторах изображений в открытом мире

On Large Multimodal Models as Open-World Image Classifiers

March 27, 2025

Авторы: Alessandro Conti, Massimiliano Mancini, Enrico Fini, Yiming Wang, Paolo Rota, Elisa Ricci

cs.AI

Аннотация

Традиционная классификация изображений требует предопределенного списка семантических категорий. В отличие от этого, крупные мультимодальные модели (LMMs) могут обойти это требование, классифицируя изображения напрямую с использованием естественного языка (например, отвечая на запрос "Что является основным объектом на изображении?"). Несмотря на эту впечатляющую способность, большинство существующих исследований по производительности классификации LMMs удивительно ограничены по охвату, часто предполагая закрытую среду с предопределенным набором категорий. В данной работе мы устраняем этот пробел, тщательно оценивая производительность классификации LMMs в действительно открытой среде. Сначала мы формализуем задачу и вводим протокол оценки, определяя различные метрики для оценки соответствия между предсказанными и истинными классами. Затем мы оцениваем 13 моделей на 10 тестовых наборах, охватывающих прототипические, не-прототипические, тонкие и очень тонкие классы, демонстрируя трудности, с которыми сталкиваются LMMs в этой задаче. Дополнительные анализы на основе предложенных метрик выявляют типы ошибок, совершаемых LMMs, подчеркивая проблемы, связанные с гранулярностью и способностями к тонкой классификации, показывая, как адаптированные запросы и рассуждения могут их смягчить.

English

Traditional image classification requires a predefined list of semantic categories. In contrast, Large Multimodal Models (LMMs) can sidestep this requirement by classifying images directly using natural language (e.g., answering the prompt "What is the main object in the image?"). Despite this remarkable capability, most existing studies on LMM classification performance are surprisingly limited in scope, often assuming a closed-world setting with a predefined set of categories. In this work, we address this gap by thoroughly evaluating LMM classification performance in a truly open-world setting. We first formalize the task and introduce an evaluation protocol, defining various metrics to assess the alignment between predicted and ground truth classes. We then evaluate 13 models across 10 benchmarks, encompassing prototypical, non-prototypical, fine-grained, and very fine-grained classes, demonstrating the challenges LMMs face in this task. Further analyses based on the proposed metrics reveal the types of errors LMMs make, highlighting challenges related to granularity and fine-grained capabilities, showing how tailored prompting and reasoning can alleviate them.