VDiff-Bench：細粒度画像差分識別のための挑戦的ベンチマーク

要旨

マルチモーダル大規模言語モデル（MLLM）は、視覚的質問応答のような一般的な視覚理解タスクでは高い性能を発揮するが、2つの類似画像間で何が変化したかを識別するという基本的な比較能力ではしばしば苦戦する。本稿では、細粒度の画像差異識別のための困難な多肢選択ベンチマークであるVDiff-Benchを導入する。VDiff-Benchは、画像ペアに関する1,756問の4択問題を含み、位置、動き、画像の局所色、画像全体の色、出現/消失、ノイズ/解像度、テクスチャ、置換/サイズ、OCR/テキスト、照明という10の変化カテゴリを網羅する。各質問は2つの画像入力に対応し、4つの選択肢を持つ。すなわち、真の差異、2つのハードネガティブ記述、および「差異なし」の撹乱選択肢である。課題を困難にするため、モデルが実際の変化を近接する意味的代替候補から区別することを要する、正解に条件付けられた負例を特に厳選した。11の最先端オープンソースおよびクローズドソースMLLMを用いた実験は、細粒度の視覚比較が依然として脆弱であることを示す。モデルはソースおよび変化カテゴリ間で不均一な性能を示し、ノイズやテクスチャのような微妙な低次変化において持続的に失敗する。例えば、7～8B規模のオープンソースMLLM 3モデルは、意味的変化では52.5～70.6%を記録するが、ノイズやテクスチャのような低次変化では8.7～33.3%にとどまり、2つの画像入力間に変化がないと誤って仮定している。驚くべきことに、他のクローズドソース商用モデルが高い性能を示しているにもかかわらず、Grok 4.3は画像間のノイズおよびテクスチャの差異を識別する際に顕著な性能低下を示し、Kimi K2.5やK3のような大規模オープンソースモデルに大きく後れを取っている。全体として、VDiff-BenchはMLLMにおける比較型の視覚理解を評価するための標的を絞った診断を提供し、標準的な単一画像視覚言語タスクでは捉えられない失敗を明らかにする。

English

Multimodal Large Language Models (MLLMs) perform strongly on general visual understanding tasks such as visual question answering, yet they often struggle with a basic comparative skill: identifying what has changed between two similar images. We introduce VDiff-Bench, a challenging multiple-choice benchmark for fine-grained Image Difference Identification. VDiff-Bench contains 1,756 four-way questions over image pairs and covers 10 change categories: position, motion, regional image color, overall image color, appearance/disappearance, noise/resolution, texture, substitution/size, OCR/text, and illumination. Each question corresponds to two image inputs with 4 choices: the true difference, two hard negative descriptions, and a "no difference" distractor. To make the task challenging, we specifically curate ground-truth-conditioned negatives that require models to distinguish the actual change from nearby semantic alternatives. Experiments with 11 state-of-the-art open- and closed-source MLLMs show that fine-grained visual comparison remains brittle: models exhibit uneven performance across sources and change categories, with persistent failures on subtle low-level changes like noises and textures. For instance, three 7-8B-scale open-source MLLMs score 52.5-70.6% on semantic changes but only 8.7-33.3% on low-level changes like noise and texture, falsely assuming no changes between two image inputs. Surprisingly, despite strong performance of other closed-source commercial models, Grok 4.3 demonstrate remarkable performance drop on identifying noise and texture differences between images, falling significantly behind large open-source models like Kimi K2.5 and K3. Overall, VDiff-Bench provides a targeted diagnostic for evaluating comparative visual understanding in MLLMs, exposing failures that are not captured by standard single-image vision-language tasks.