CiteVQA: Бенчмаркинг атрибуции доказательств для надежного документального интеллекта

Аннотация

Мультимодальные большие языковые модели (MLLM) значительно продвинули распознавание документов, однако современные системы оценки Doc-VQA проверяют только итоговый ответ, оставляя подтверждающие свидетельства без внимания. Такой подход, ориентированный исключительно на ответ, скрывает критический сбой: модель может дать верный ответ, но основывать его на неверном фрагменте — что представляет серьёзную угрозу в таких высокоответственных областях, как юриспруденция, финансы и медицина, где каждый вывод должен быть прослеживаем до конкретного источника. Для решения этой проблемы мы представляем CiteVQA — эталонный тест, требующий от моделей возвращать элементные цитаты в виде ограничивающих рамок наряду с каждым ответом, оценивая их совместно. CiteVQA включает 1897 вопросов по 711 PDF-документам из семи доменов и двух языков при средней длине документа в 40,6 страниц. Для обеспечения достоверности и масштабируемости истинные цитаты создаются автоматизированным конвейером, который выявляет ключевые доказательства с помощью маскировочной абляции, и впоследствии проходят экспертную валидацию. В основе нашей оценки лежит строгая атрибутивная точность (SAA), которая засчитывает предсказание только при верном ответе и правильной цитируемой области. Анализ 20 MLLM выявляет повсеместную атрибутивную галлюцинацию: модели часто дают правильный ответ, но цитируют неверную область. Лучшая система (Gemini-3.1-Pro-Preview) достигает SAA всего 76,0, а лучшая открытая MLLM — лишь 22,5. В конечном итоге, стремясь к надёжному интеллектуальному анализу документов, CiteVQA вскрывает разрыв в надёжности, который не замечают оценки, учитывающие только ответ, и предоставляет инструментарий для его преодоления. Наш репозиторий доступен по адресу https://github.com/opendatalab/CiteVQA.

English

Multimodal Large Language Models (MLLMs) have significantly advanced document understanding, yet current Doc-VQA evaluations score only the final answer and leave the supporting evidence unchecked. This answer-only approach masks a critical failure mode: a model can land on the correct answer while grounding it in the wrong passage -- a critical risk in high-stakes domains like law, finance, and medicine, where every conclusion must be traceable to a specific source region. To address this, we introduce CiteVQA, a benchmark that requires models to return element-level bounding-box citations alongside each answer, evaluating both jointly. CiteVQA comprises 1,897 questions across 711 PDFs spanning seven domains and two languages, averaging 40.6 pages per document. To ensure fidelity and scalability, the ground-truth citations are generated by an automated pipeline-which identifies crucial evidence via masking ablation-and are subsequently validated through expert review. At the core of our evaluation is Strict Attributed Accuracy (SAA), which credits a prediction only when the answer and the cited region are both correct. Auditing 20 MLLMs reveals a pervasive Attribution Hallucination: models frequently produce the right answer while citing the wrong region. The strongest system (Gemini-3.1-Pro-Preview) achieves an SAA of only 76.0, and the strongest open-source MLLM reaches just 22.5. Ultimately, towards trustworthy document intelligence, CiteVQA exposes a reliability gap that answer-only evaluations overlook, providing the instrumentation needed to close it. Our repository is available at https://github.com/opendatalab/CiteVQA.