VDiff-Bench: 세밀한 이미지 차이 식별을 위한 도전적인 벤치마크

초록

멀티모달 대규모 언어 모델(MLLM)은 시각 질의응답과 같은 일반적인 시각 이해 과제에서는 강력한 성능을 보이지만, 두 유사 이미지 간에 무엇이 달라졌는지 식별하는 기본적인 비교 능력에서는 종종 어려움을 겪는다. 우리는 세밀한 이미지 차이 식별을 위한 도전적인 4지선다형 벤치마크인 VDiff-Bench를 소개한다. VDiff-Bench는 이미지 쌍에 대한 1,756개의 4지선다형 질문을 포함하며, 위치, 움직임, 국부 이미지 색상, 전체 이미지 색상, 등장/소멸, 노이즈/해상도, 텍스처, 대체/크기, OCR/텍스트, 조명의 10가지 변화 범주를 다룬다. 각 질문은 두 개의 이미지 입력과 4개의 선택지로 구성된다: 실제 차이, 두 개의 어려운 네거티브 설명, 그리고 "차이 없음" 방해 선택지. 과제를 어렵게 만들기 위해, 우리는 모델이 실제 변화를 의미적으로 인접한 대안들과 구별하도록 요구하는 정답 조건부 네거티브를 특별히 구성한다. 11개의 최신 오픈소스 및 클로즈드소스 MLLM을 대상으로 한 실험은 세밀한 시각 비교가 여전히 취약함을 보여준다: 모델들은 출처와 변화 범주 전반에서 고르지 않은 성능을 보이며, 노이즈와 텍스처 같은 미세한 저수준 변화에서 지속적으로 실패한다. 예를 들어, 7-8B 규모의 오픈소스 MLLM 세 개는 의미론적 변화에서는 52.5-70.6%를 기록하지만 노이즈와 텍스처 같은 저수준 변화에서는 8.7-33.3%에 그치며, 두 이미지 입력 사이에 변화가 없다고 잘못 가정한다. 놀랍게도, 다른 클로즈드소스 상용 모델들이 강력한 성능을 보임에도 불구하고, Grok 4.3은 이미지 간 노이즈 및 텍스처 차이를 식별하는 데 현저한 성능 저하를 보여 Kimi K2.5 및 K3 같은 대규모 오픈소스 모델보다 크게 뒤처진다. 종합적으로, VDiff-Bench는 MLLM의 비교 시각 이해를 평가하기 위한 표적화된 진단 도구를 제공하며, 표준 단일 이미지 비전-언어 과제로는 포착되지 않는 실패를 드러낸다.

English

Multimodal Large Language Models (MLLMs) perform strongly on general visual understanding tasks such as visual question answering, yet they often struggle with a basic comparative skill: identifying what has changed between two similar images. We introduce VDiff-Bench, a challenging multiple-choice benchmark for fine-grained Image Difference Identification. VDiff-Bench contains 1,756 four-way questions over image pairs and covers 10 change categories: position, motion, regional image color, overall image color, appearance/disappearance, noise/resolution, texture, substitution/size, OCR/text, and illumination. Each question corresponds to two image inputs with 4 choices: the true difference, two hard negative descriptions, and a "no difference" distractor. To make the task challenging, we specifically curate ground-truth-conditioned negatives that require models to distinguish the actual change from nearby semantic alternatives. Experiments with 11 state-of-the-art open- and closed-source MLLMs show that fine-grained visual comparison remains brittle: models exhibit uneven performance across sources and change categories, with persistent failures on subtle low-level changes like noises and textures. For instance, three 7-8B-scale open-source MLLMs score 52.5-70.6% on semantic changes but only 8.7-33.3% on low-level changes like noise and texture, falsely assuming no changes between two image inputs. Surprisingly, despite strong performance of other closed-source commercial models, Grok 4.3 demonstrate remarkable performance drop on identifying noise and texture differences between images, falling significantly behind large open-source models like Kimi K2.5 and K3. Overall, VDiff-Bench provides a targeted diagnostic for evaluating comparative visual understanding in MLLMs, exposing failures that are not captured by standard single-image vision-language tasks.