VISTA-Bench: Действительно ли модели «визуальный язык» так же хорошо понимают визуализированный текст, как и чистый текст?

VISTA-Bench: Do Vision-Language Models Really Understand Visualized Text as Well as Pure Text?

February 4, 2026

Авторы: Qing'an Liu, Juntong Feng, Yuhao Wang, Xinzhe Han, Yujie Cheng, Yue Zhu, Haiwen Diao, Yunzhi Zhuge, Huchuan Lu

cs.AI

Аннотация

Модели «зрение-язык» (VLMs) демонстрируют впечатляющие результаты в кросс-модальном понимании текстовых и визуальных данных, однако существующие бенчмарки в основном сосредоточены на запросах с чистым текстом. В реальных сценариях язык также часто представлен в виде визуализированного текста, встроенного в изображения, что ставит вопрос о том, насколько современные VLMs справляются с такими запросами. Мы представляем VISTA-Bench — систематический бенчмарк, охватывающий области от мультимодального восприятия и рассуждений до одномодального понимания. Он оценивает понимание визуализированного текста путем сравнения вопросов с чистым текстом и визуализированным текстом в контролируемых условиях рендеринга. Обширная оценка более 20 репрезентативных VLMs выявляет выраженный модальный разрыв: модели, хорошо справляющиеся с запросами на чистом тексте, часто значительно ухудшают результаты, когда эквивалентное семантическое содержание представлено в виде визуализированного текста. Этот разрыв усиливается с увеличением перцептивной сложности, что подчеркивает чувствительность к вариациям рендеринга при неизменной семантике. В целом, VISTA-Bench предоставляет принципиальную framework для диагностики этого ограничения и направления прогресса в сторону более унифицированных языковых представлений, охватывающих как токенизированный текст, так и пиксели. Исходный набор данных доступен по адресу https://github.com/QingAnLiu/VISTA-Bench.

English

Vision-Language Models (VLMs) have achieved impressive performance in cross-modal understanding across textual and visual inputs, yet existing benchmarks predominantly focus on pure-text queries. In real-world scenarios, language also frequently appears as visualized text embedded in images, raising the question of whether current VLMs handle such input requests comparably. We introduce VISTA-Bench, a systematic benchmark from multimodal perception, reasoning, to unimodal understanding domains. It evaluates visualized text understanding by contrasting pure-text and visualized-text questions under controlled rendering conditions. Extensive evaluation of over 20 representative VLMs reveals a pronounced modality gap: models that perform well on pure-text queries often degrade substantially when equivalent semantic content is presented as visualized text. This gap is further amplified by increased perceptual difficulty, highlighting sensitivity to rendering variations despite unchanged semantics. Overall, VISTA-Bench provides a principled evaluation framework to diagnose this limitation and to guide progress toward more unified language representations across tokenized text and pixels. The source dataset is available at https://github.com/QingAnLiu/VISTA-Bench.