VISTA-Bench: ¿Realmente los Modelos de Visión y Lenguaje Entienden el Texto Visualizado Tan Bien como el Texto Puro?

VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text?

February 4, 2026

Autores: Qing'an Liu, Juntong Feng, Yuhao Wang, Xinzhe Han, Yujie Cheng, Yue Zhu, Haiwen Diao, Yunzhi Zhuge, Huchuan Lu

cs.AI

Resumen

Los Modelos de Visión y Lenguaje (VLMs) han logrado un rendimiento impresionante en la comprensión multimodal de entradas textuales y visuales, sin embargo, los puntos de referencia existentes se centran predominantemente en consultas de texto puro. En escenarios del mundo real, el lenguaje también aparece frecuentemente como texto visualizado incrustado en imágenes, lo que plantea la pregunta de si los VLMs actuales manejan tales solicitudes de entrada de manera comparable. Presentamos VISTA-Bench, un punto de referencia sistemático que abarca desde la percepción multimodal y el razonamiento, hasta dominios de comprensión unimodal. Evalúa la comprensión del texto visualizado contrastando preguntas de texto puro y de texto visualizado bajo condiciones de renderizado controladas. La evaluación exhaustiva de más de 20 VLMs representativos revela una brecha de modalidad pronunciada: los modelos que funcionan bien en consultas de texto puro a menudo se degradan sustancialmente cuando el contenido semántico equivalente se presenta como texto visualizado. Esta brecha se amplifica aún más por una mayor dificultad perceptual, lo que destaca la sensibilidad a las variaciones de renderizado a pesar de una semántica inalterada. En general, VISTA-Bench proporciona un marco de evaluación fundamentado para diagnosticar esta limitación y guiar el progreso hacia representaciones lingüísticas más unificadas a través de texto tokenizado y píxeles. El conjunto de datos fuente está disponible en https://github.com/QingAnLiu/VISTA-Bench.

English

Vision-Language Models (VLMs) have achieved impressive performance in cross-modal understanding across textual and visual inputs, yet existing benchmarks predominantly focus on pure-text queries. In real-world scenarios, language also frequently appears as visualized text embedded in images, raising the question of whether current VLMs handle such input requests comparably. We introduce VISTA-Bench, a systematic benchmark from multimodal perception, reasoning, to unimodal understanding domains. It evaluates visualized text understanding by contrasting pure-text and visualized-text questions under controlled rendering conditions. Extensive evaluation of over 20 representative VLMs reveals a pronounced modality gap: models that perform well on pure-text queries often degrade substantially when equivalent semantic content is presented as visualized text. This gap is further amplified by increased perceptual difficulty, highlighting sensitivity to rendering variations despite unchanged semantics. Overall, VISTA-Bench provides a principled evaluation framework to diagnose this limitation and to guide progress toward more unified language representations across tokenized text and pixels. The source dataset is available at https://github.com/QingAnLiu/VISTA-Bench.