Contenu identique, réponses différentes : l'incohérence intermodale dans les MLLM
Same Content, Different Answers: Cross-Modal Inconsistency in MLLMs
December 9, 2025
papers.authors: Angela van Sprang, Laurens Samson, Ana Lucic, Erman Acar, Sennay Ghebreab, Yuki M. Asano
cs.AI
papers.abstract
Nous présentons deux nouveaux benchmarks REST et REST+ (Render-Equivalence Stress Tests) permettant l'évaluation systématique de l'incohérence intermodale dans les modèles de langage multimodaux (MLLMs). Bien que les MLLMs soient entraînés à représenter la vision et le langage dans un même espace d'embedding, ils ne peuvent pas réaliser les mêmes tâches dans les deux modalités. Nos benchmarks contiennent des échantillons avec la même information sémantique dans trois modalités (image, texte, mixte) et nous montrons que les MLLMs les plus performants ne peuvent pas raisonner de manière cohérente sur ces différentes modalités. Nous évaluons 15 MLLMs et constatons que le degré d'incohérence modale varie considérablement, même en tenant compte des problèmes de reconnaissance de texte (OCR). Ni le rendu du texte sous forme d'image, ni le rendu d'une image sous forme de texte ne résolvent l'incohérence. Même lorsque l'OCR est correcte, nous constatons que les caractéristiques visuelles (couleur du texte et résolution, mais pas la police) et le nombre de tokens visuels ont un impact sur les performances du modèle. Enfin, nous constatons que notre score de cohérence corrèle avec l'écart de modalité entre le texte et les images, mettant en lumière une interprétation mécaniste des MLLMs incohérents intermodaux.
English
We introduce two new benchmarks REST and REST+(Render-Equivalence Stress Tests) to enable systematic evaluation of cross-modal inconsistency in multimodal large language models (MLLMs). MLLMs are trained to represent vision and language in the same embedding space, yet they cannot perform the same tasks in both modalities. Our benchmarks contain samples with the same semantic information in three modalities (image, text, mixed) and we show that state-of-the-art MLLMs cannot consistently reason over these different modalities. We evaluate 15 MLLMs and find that the degree of modality inconsistency varies substantially, even when accounting for problems with text recognition (OCR). Neither rendering text as image nor rendering an image as text solves the inconsistency. Even if OCR is correct, we find that visual characteristics (text colour and resolution, but not font) and the number of vision tokens have an impact on model performance. Finally, we find that our consistency score correlates with the modality gap between text and images, highlighting a mechanistic interpretation of cross-modal inconsistent MLLMs.