Mismo Contenido, Diferentes Respuestas: Inconsistencia Transmodal en los MLLM

Same Content, Different Answers: Cross-Modal Inconsistency in MLLMs

December 9, 2025

Autores: Angela van Sprang, Laurens Samson, Ana Lucic, Erman Acar, Sennay Ghebreab, Yuki M. Asano

cs.AI

Resumen

Presentamos dos nuevos puntos de referencia, REST y REST+ (Pruebas de Estrés de Equivalencia de Renderizado), para permitir la evaluación sistemática de la inconsistencia cross-modal en los modelos de lenguaje multimodal (MLLMs). Los MLLMs se entrenan para representar la visión y el lenguaje en el mismo espacio de incrustación, sin embargo, no pueden realizar las mismas tareas en ambas modalidades. Nuestros puntos de referencia contienen muestras con la misma información semántica en tres modalidades (imagen, texto, mixta) y demostramos que los MLLMs más avanzados no pueden razonar de manera consistente sobre estas diferentes modalidades. Evaluamos 15 MLLMs y encontramos que el grado de inconsistencia modal varía sustancialmente, incluso teniendo en cuenta los problemas con el reconocimiento de texto (OCR). Ni renderizar texto como imagen ni renderizar una imagen como texto resuelve la inconsistencia. Incluso si el OCR es correcto, encontramos que las características visuales (color y resolución del texto, pero no la fuente) y el número de *tokens* visuales tienen un impacto en el rendimiento del modelo. Finalmente, encontramos que nuestra puntuación de consistencia se correlaciona con la brecha modal entre texto e imágenes, destacando una interpretación mecanicista de los MLLMs cross-modal inconsistentes.

English

We introduce two new benchmarks REST and REST+(Render-Equivalence Stress Tests) to enable systematic evaluation of cross-modal inconsistency in multimodal large language models (MLLMs). MLLMs are trained to represent vision and language in the same embedding space, yet they cannot perform the same tasks in both modalities. Our benchmarks contain samples with the same semantic information in three modalities (image, text, mixed) and we show that state-of-the-art MLLMs cannot consistently reason over these different modalities. We evaluate 15 MLLMs and find that the degree of modality inconsistency varies substantially, even when accounting for problems with text recognition (OCR). Neither rendering text as image nor rendering an image as text solves the inconsistency. Even if OCR is correct, we find that visual characteristics (text colour and resolution, but not font) and the number of vision tokens have an impact on model performance. Finally, we find that our consistency score correlates with the modality gap between text and images, highlighting a mechanistic interpretation of cross-modal inconsistent MLLMs.