MM-JudgeBias: Un Benchmark per la Valutazione dei Pregiudizi Composizionali nei MLLM-come-Giudice
MM-JudgeBias: A Benchmark for Evaluating Compositional Biases in MLLM-as-a-Judge
April 20, 2026
Autori: Sua Lee, Sanghee Park, Jinbae Im
cs.AI
Abstract
I modelli linguistici multimodali di grandi dimensioni (MLLM) vengono sempre più utilizzati come valutatori automatici, un paradigma noto come MLLM-as-a-Judge. Tuttavia, la loro affidabilità e le vulnerabilità a bias rimangono poco esplorate. Rileviamo che molti giudici MLLM non riescono a integrare in modo affidabile gli indizi visivi o testuali chiave, producendo valutazioni inaffidabili quando le evidenze sono assenti o non corrispondenti, e mostrando instabilità sotto perturbazioni semanticamente irrilevanti. Per affrontare questo problema, definiamo sistematicamente il Bias Composizionale nei sistemi MLLM-as-a-Judge e introduciamo MM-JudgeBias, un benchmark per valutarlo. MM-JudgeBias introduce perturbazioni controllate su Query, Immagine e Risposta, e valuta il comportamento del modello tramite due metriche complementari: Bias-Deviation (BD) per la sensibilità e Bias-Conformity (BC) per la stabilità. Il nostro dataset di oltre 1.800 campioni multimodali curati e raffinati, provenienti da 29 benchmark sorgente, consente una diagnosi granulare di nove tipi di bias attraverso vari task e domini. Esperimenti su 26 MLLM all'avanguardia rivelano una negligenza modale sistematica e tendenze valutative asimmetriche, sottolineando la necessità di giudici più affidabili.
English
Multimodal Large Language Models (MLLMs) have been increasingly used as automatic evaluators-a paradigm known as MLLM-as-a-Judge. However, their reliability and vulnerabilities to biases remain underexplored. We find that many MLLM judges fail to reliably integrate key visual or textual cues, yielding unreliable evaluations when evidence is missing or mismatched, and exhibiting instability under semantically irrelevant perturbations. To address this, we systematically define Compositional Bias in MLLM-as-a-Judge systems and introduce MM-JudgeBias, a benchmark for evaluating it. MM-JudgeBias introduces controlled perturbations across Query, Image, and Response, and evaluates model behavior via two complementary metrics: Bias-Deviation (BD) for sensitivity and Bias-Conformity (BC) for stability. Our dataset of over 1,800 curated and refined multimodal samples, drawn from 29 source benchmarks, enables a fine-grained diagnosis of nine bias types across diverse tasks and domains. Experiments on 26 state-of-the-art MLLMs reveal systematic modality neglect and asymmetric evaluation tendencies, underscoring the need for more reliable judges.