Один контент, разные ответы: кросс-модальная несогласованность в MLLM
Same Content, Different Answers: Cross-Modal Inconsistency in MLLMs
December 9, 2025
Авторы: Angela van Sprang, Laurens Samson, Ana Lucic, Erman Acar, Sennay Ghebreab, Yuki M. Asano
cs.AI
Аннотация
Мы представляем два новых тестовых набора REST и REST+ (Render-Equivalence Stress Tests) для систематической оценки кросс-модальной несогласованности в мультимодальных больших языковых моделях (MLLM). MLLM обучаются представлять визуальную и текстовую информацию в едином пространстве эмбеддингов, однако они не способны одинаково выполнять задачи в обеих модальностях. Наши тестовые наборы содержат примеры с идентичной семантической информацией в трёх модальностях (изображение, текст, смешанная), и мы демонстрируем, что современные MLLM не могут последовательно рассуждать на основе этих различных модальностей. Мы оценили 15 MLLM и обнаружили, что степень модальной несогласованности существенно варьируется, даже с учётом проблем распознавания текста (OCR). Ни отображение текста в виде изображения, ни преобразование изображения в текст не решают проблему несогласованности. Даже при корректном OCR мы выявили, что визуальные характеристики (цвет текста и разрешение, но не шрифт) и количество визуальных токенов влияют на производительность модели. Наконец, мы установили, что наш показатель согласованности коррелирует с модальным разрывом между текстом и изображениями, что указывает на механистическую интерпретацию кросс-модальной несогласованности MLLM.
English
We introduce two new benchmarks REST and REST+(Render-Equivalence Stress Tests) to enable systematic evaluation of cross-modal inconsistency in multimodal large language models (MLLMs). MLLMs are trained to represent vision and language in the same embedding space, yet they cannot perform the same tasks in both modalities. Our benchmarks contain samples with the same semantic information in three modalities (image, text, mixed) and we show that state-of-the-art MLLMs cannot consistently reason over these different modalities. We evaluate 15 MLLMs and find that the degree of modality inconsistency varies substantially, even when accounting for problems with text recognition (OCR). Neither rendering text as image nor rendering an image as text solves the inconsistency. Even if OCR is correct, we find that visual characteristics (text colour and resolution, but not font) and the number of vision tokens have an impact on model performance. Finally, we find that our consistency score correlates with the modality gap between text and images, highlighting a mechanistic interpretation of cross-modal inconsistent MLLMs.