Contenuto Identico, Risposte Diverse: Incoerenza Cross-Modale nei Modelli Multimodali di Linguaggio

Same Content, Different Answers: Cross-Modal Inconsistency in MLLMs

December 9, 2025

Autori: Angela van Sprang, Laurens Samson, Ana Lucic, Erman Acar, Sennay Ghebreab, Yuki M. Asano

cs.AI

Abstract

Introduciamo due nuovi benchmark, REST e REST+ (Render-Equivalence Stress Tests), per consentire una valutazione sistematica dell'incoerenza cross-modale nei modelli linguistici multimodali di grandi dimensioni (MLLM). Gli MLLM sono addestrati per rappresentare la visione e il linguaggio nello stesso spazio di embedding, eppure non sono in grado di eseguire gli stessi compiti in entrambe le modalità. I nostri benchmark contengono campioni con la stessa informazione semantica in tre modalità (immagine, testo, mista) e dimostriamo che gli MLLM all'avanguardia non riescono a ragionare in modo coerente su queste diverse modalità. Valutiamo 15 MLLM e scopriamo che il grado di incoerenza modale varia sostanzialmente, anche tenendo conto dei problemi con il riconoscimento del testo (OCR). Né il rendering del testo come immagine né il rendering di un'immagine come testo risolvono l'incoerenza. Anche quando l'OCR è corretto, riscontriamo che le caratteristiche visive (colore e risoluzione del testo, ma non il font) e il numero di token visivi hanno un impatto sulle prestazioni del modello. Infine, scopriamo che il nostro punteggio di coerenza si correla con il divario modale tra testo e immagini, evidenziando un'interpretazione meccanicistica degli MLLM cross-modali incoerenti.

English

We introduce two new benchmarks REST and REST+(Render-Equivalence Stress Tests) to enable systematic evaluation of cross-modal inconsistency in multimodal large language models (MLLMs). MLLMs are trained to represent vision and language in the same embedding space, yet they cannot perform the same tasks in both modalities. Our benchmarks contain samples with the same semantic information in three modalities (image, text, mixed) and we show that state-of-the-art MLLMs cannot consistently reason over these different modalities. We evaluate 15 MLLMs and find that the degree of modality inconsistency varies substantially, even when accounting for problems with text recognition (OCR). Neither rendering text as image nor rendering an image as text solves the inconsistency. Even if OCR is correct, we find that visual characteristics (text colour and resolution, but not font) and the number of vision tokens have an impact on model performance. Finally, we find that our consistency score correlates with the modality gap between text and images, highlighting a mechanistic interpretation of cross-modal inconsistent MLLMs.