大規模マルチモーダルモデルをオープンワールド画像分類器として活用する研究

On Large Multimodal Models as Open-World Image Classifiers

March 27, 2025

著者: Alessandro Conti, Massimiliano Mancini, Enrico Fini, Yiming Wang, Paolo Rota, Elisa Ricci

cs.AI

要旨

従来の画像分類では、事前に定義された意味的カテゴリのリストが必要とされます。一方、大規模マルチモーダルモデル（LMM）は、自然言語を直接使用して画像を分類することで（例えば、「画像の主な対象物は何ですか？」というプロンプトに答えることで）、この要件を回避することができます。この驚くべき能力にもかかわらず、既存のLMM分類性能に関する研究のほとんどは、驚くほど範囲が限られており、事前に定義されたカテゴリセットを持つ閉じた世界の設定を前提としていることが多いです。本研究では、真に開かれた世界の設定においてLMMの分類性能を徹底的に評価することで、このギャップを埋めます。まず、タスクを形式化し、評価プロトコルを導入し、予測クラスと正解クラス間の整合性を評価するための様々な指標を定義します。次に、13のモデルを10のベンチマークで評価し、プロトタイプ的、非プロトタイプ的、細粒度、および非常に細粒度のクラスを含むこのタスクにおけるLMMが直面する課題を実証します。提案された指標に基づくさらなる分析により、LMMが犯すエラーのタイプを明らかにし、粒度と細粒度能力に関連する課題を強調し、カスタマイズされたプロンプティングと推論がそれらをどのように軽減できるかを示します。

English

Traditional image classification requires a predefined list of semantic categories. In contrast, Large Multimodal Models (LMMs) can sidestep this requirement by classifying images directly using natural language (e.g., answering the prompt "What is the main object in the image?"). Despite this remarkable capability, most existing studies on LMM classification performance are surprisingly limited in scope, often assuming a closed-world setting with a predefined set of categories. In this work, we address this gap by thoroughly evaluating LMM classification performance in a truly open-world setting. We first formalize the task and introduce an evaluation protocol, defining various metrics to assess the alignment between predicted and ground truth classes. We then evaluate 13 models across 10 benchmarks, encompassing prototypical, non-prototypical, fine-grained, and very fine-grained classes, demonstrating the challenges LMMs face in this task. Further analyses based on the proposed metrics reveal the types of errors LMMs make, highlighting challenges related to granularity and fine-grained capabilities, showing how tailored prompting and reasoning can alleviate them.