MM-JudgeBias: Бенчмарк для оценки композиционных смещений в MLLM-как-судье
MM-JudgeBias: A Benchmark for Evaluating Compositional Biases in MLLM-as-a-Judge
April 20, 2026
Авторы: Sua Lee, Sanghee Park, Jinbae Im
cs.AI
Аннотация
Мультимодальные большие языковые модели (MБЯМ) все чаще используются в качестве автоматических оценщиков — парадигма, известная как «MБЯМ-как-судья». Однако их надежность и уязвимости к смещениям остаются недостаточно изученными. Мы обнаружили, что многие модели-судьи не способны надежно интегрировать ключевые визуальные или текстовые сигналы, что приводит к ненадежным оценкам при отсутствии или несоответствии доказательств, а также проявляет нестабильность при семантически нерелевантных возмущениях. Для решения этой проблемы мы систематически определяем Композиционное Смещение в системах MБЯМ-как-судья и представляем MM-JudgeBias — бенчмарк для его оценки. MM-JudgeBias вводит контролируемые возмущения в Запрос, Изображение и Ответ, а также оценивает поведение модели с помощью двух взаимодополняющих метрик: Отклонение от Смещения (Bias-Deviation, BD) для чувствительности и Соответствие Смещению (Bias-Conformity, BC) для стабильности. Наш набор данных, содержащий более 1800 тщательно отобранных и доработанных мультимодальных примеров, взятых из 29 исходных бенчмарков, позволяет провести детальную диагностику девяти типов смещений в различных задачах и доменах. Эксперименты с 26 современными MБЯМ выявили систематическое пренебрежение модальностями и асимметричные оценочные тенденции, что подчеркивает необходимость в создании более надежных моделей-судей.
English
Multimodal Large Language Models (MLLMs) have been increasingly used as automatic evaluators-a paradigm known as MLLM-as-a-Judge. However, their reliability and vulnerabilities to biases remain underexplored. We find that many MLLM judges fail to reliably integrate key visual or textual cues, yielding unreliable evaluations when evidence is missing or mismatched, and exhibiting instability under semantically irrelevant perturbations. To address this, we systematically define Compositional Bias in MLLM-as-a-Judge systems and introduce MM-JudgeBias, a benchmark for evaluating it. MM-JudgeBias introduces controlled perturbations across Query, Image, and Response, and evaluates model behavior via two complementary metrics: Bias-Deviation (BD) for sensitivity and Bias-Conformity (BC) for stability. Our dataset of over 1,800 curated and refined multimodal samples, drawn from 29 source benchmarks, enables a fine-grained diagnosis of nine bias types across diverse tasks and domains. Experiments on 26 state-of-the-art MLLMs reveal systematic modality neglect and asymmetric evaluation tendencies, underscoring the need for more reliable judges.