VisR-Bench: Эмпирическое исследование визуального поисково-генеративного подхода для понимания многоязычных длинных документов

VisR-Bench: An Empirical Study on Visual Retrieval-Augmented Generation for Multilingual Long Document Understanding

August 10, 2025

Авторы: Jian Chen, Ming Li, Jihyung Kil, Chenguang Wang, Tong Yu, Ryan Rossi, Tianyi Zhou, Changyou Chen, Ruiyi Zhang

cs.AI

Аннотация

Большая часть организационных данных в мире хранится в виде документов, и визуальный поиск играет ключевую роль в раскрытии коллективного интеллекта из всех этих документов. Однако существующие эталонные тесты сосредоточены на поиске документов только на английском языке или рассматривают многоязычное вопросно-ответное взаимодействие на изображении одной страницы. Чтобы устранить этот пробел, мы представляем VisR-Bench — многоязычный эталонный тест, разработанный для вопросно-управляемого мультимодального поиска в длинных документах. Наш эталонный тест включает более 35 тысяч высококачественных пар вопросов и ответов для 1,2 тысяч документов, что позволяет проводить детальную оценку мультимодального поиска. VisR-Bench охватывает шестнадцать языков с тремя типами вопросов (графики, текст и таблицы), предлагая разнообразное лингвистическое и вопросное покрытие. В отличие от предыдущих наборов данных, мы включаем запросы без явных ответов, предотвращая зависимость моделей от поверхностного сопоставления ключевых слов. Мы оцениваем различные модели поиска, включая текстовые методы, мультимодальные кодировщики и MLLM, предоставляя понимание их сильных сторон и ограничений. Наши результаты показывают, что, хотя MLLM значительно превосходят текстовые и мультимодальные модели кодировщиков, они всё ещё испытывают трудности со структурированными таблицами и языками с ограниченными ресурсами, что подчеркивает ключевые проблемы в многоязычном визуальном поиске.

English

Most organizational data in this world are stored as documents, and visual retrieval plays a crucial role in unlocking the collective intelligence from all these documents. However, existing benchmarks focus on English-only document retrieval or only consider multilingual question-answering on a single-page image. To bridge this gap, we introduce VisR-Bench, a multilingual benchmark designed for question-driven multimodal retrieval in long documents. Our benchmark comprises over 35K high-quality QA pairs across 1.2K documents, enabling fine-grained evaluation of multimodal retrieval. VisR-Bench spans sixteen languages with three question types (figures, text, and tables), offering diverse linguistic and question coverage. Unlike prior datasets, we include queries without explicit answers, preventing models from relying on superficial keyword matching. We evaluate various retrieval models, including text-based methods, multimodal encoders, and MLLMs, providing insights into their strengths and limitations. Our results show that while MLLMs significantly outperform text-based and multimodal encoder models, they still struggle with structured tables and low-resource languages, highlighting key challenges in multilingual visual retrieval.