CiteVQA: Benchmarking van bewijsattributie voor betrouwbare documentintelligentie

Samenvatting

Multimodale Grote Taalmodellen (MLLM's) hebben de documentverwerking aanzienlijk verbeterd, maar de huidige Doc-VQA-evaluaties beoordelen alleen het uiteindelijke antwoord en laten het ondersteunende bewijs ongemoeid. Deze antwoordgerichte aanpak maskeert een kritieke faalmodus: een model kan het juiste antwoord geven, maar het baseren op de verkeerde passage – een ernstig risico in hoogwaardige domeinen zoals recht, financiën en geneeskunde, waar elke conclusie herleidbaar moet zijn tot een specifieke bronregio. Om dit aan te pakken introduceren wij CiteVQA, een benchmark die vereist dat modellen naast elk antwoord ook omkaderde citaten op elementniveau leveren, waarbij beide gezamenlijk worden geëvalueerd. CiteVQA bestaat uit 1.897 vragen over 711 PDF's uit zeven domeinen en twee talen, met een gemiddelde van 40,6 pagina's per document. Om betrouwbaarheid en schaalbaarheid te waarborgen, worden de grondwaarheidscitaten gegenereerd door een geautomatiseerde pijplijn – die cruciale bewijzen identificeert via maskeringsablatie – en vervolgens gevalideerd door expertbeoordeling. De kern van onze evaluatie is de Strikte Toegeschreven Nauwkeurigheid (SAA), die een voorspelling alleen goedkeurt wanneer zowel het antwoord als het geciteerde gebied correct zijn. Audit van 20 MLLM's onthult een wijdverbreide Attributiehallucinatie: modellen produceren vaak het juiste antwoord terwijl ze naar de verkeerde regio verwijzen. Het sterkste systeem (Gemini-3.1-Pro-Preview) behaalt slechts een SAA van 76,0, en het sterkste opensource-MLLM slechts 22,5. Uiteindelijk, in de richting van betrouwbare documentintelligentie, legt CiteVQA een betrouwbaarheidskloof bloot die antwoordgerichte evaluaties over het hoofd zien, en biedt het de benodigde instrumentatie om deze te dichten. Onze repository is beschikbaar op https://github.com/opendatalab/CiteVQA.

English

Multimodal Large Language Models (MLLMs) have significantly advanced document understanding, yet current Doc-VQA evaluations score only the final answer and leave the supporting evidence unchecked. This answer-only approach masks a critical failure mode: a model can land on the correct answer while grounding it in the wrong passage -- a critical risk in high-stakes domains like law, finance, and medicine, where every conclusion must be traceable to a specific source region. To address this, we introduce CiteVQA, a benchmark that requires models to return element-level bounding-box citations alongside each answer, evaluating both jointly. CiteVQA comprises 1,897 questions across 711 PDFs spanning seven domains and two languages, averaging 40.6 pages per document. To ensure fidelity and scalability, the ground-truth citations are generated by an automated pipeline-which identifies crucial evidence via masking ablation-and are subsequently validated through expert review. At the core of our evaluation is Strict Attributed Accuracy (SAA), which credits a prediction only when the answer and the cited region are both correct. Auditing 20 MLLMs reveals a pervasive Attribution Hallucination: models frequently produce the right answer while citing the wrong region. The strongest system (Gemini-3.1-Pro-Preview) achieves an SAA of only 76.0, and the strongest open-source MLLM reaches just 22.5. Ultimately, towards trustworthy document intelligence, CiteVQA exposes a reliability gap that answer-only evaluations overlook, providing the instrumentation needed to close it. Our repository is available at https://github.com/opendatalab/CiteVQA.