CiteVQA: Benchmarking der Evidenzattribution für vertrauenswürdige Dokumentenintelligenz

Zusammenfassung

Multimodale Large Language Models (MLLMs) haben die Dokumentenverarbeitung erheblich vorangebracht, doch aktuelle Doc-VQA-Bewertungen berücksichtigen nur die endgültige Antwort und prüfen die zugrundeliegenden Belege nicht. Diese rein antwortorientierte Herangehensweise übersieht eine kritische Fehlerursache: Ein Modell kann die richtige Antwort liefern, während es diese auf einen falschen Textabschnitt stützt – ein erhebliches Risiko in sicherheitskritischen Bereichen wie Recht, Finanzen und Medizin, wo jede Schlussfolgerung auf eine bestimmte Quellregion zurückführbar sein muss. Um diesem Problem zu begegnen, führen wir CiteVQA ein, einen Benchmark, der von Modellen verlangt, neben jeder Antwort auch Zitate auf Elementebene in Form von Bounding-Boxen zurückzugeben und beides gemeinsam zu bewerten. CiteVQA umfasst 1.897 Fragen zu 711 PDFs aus sieben Bereichen und zwei Sprachen mit durchschnittlich 40,6 Seiten pro Dokument. Zur Sicherstellung von Genauigkeit und Skalierbarkeit werden die Ground-Truth-Zitate durch eine automatisierte Pipeline generiert – die durch Maskierungsablation entscheidende Belege identifiziert – und anschließend in einer Expertenprüfung validiert. Kern unserer Evaluierung ist die Strict Attributed Accuracy (SAA), die eine Vorhersage nur dann wertet, wenn sowohl die Antwort als auch die zitierte Region korrekt sind. Die Prüfung von 20 MLLMs zeigt eine weit verbreitete Attribution Hallucination: Modelle produzieren häufig die richtige Antwort, zitieren aber die falsche Region. Das stärkste System (Gemini-3.1-Pro-Preview) erreicht eine SAA von lediglich 76,0, und das stärkste Open-Source-MLLM kommt nur auf 22,5. Letztlich deckt CiteVQA im Hinblick auf vertrauenswürdige Dokumentenintelligenz eine Zuverlässigkeitslücke auf, die rein antwortorientierte Evaluierungen übersehen, und bietet die notwendigen Instrumente, um diese zu schließen. Unser Repository ist verfügbar unter https://github.com/opendatalab/CiteVQA.

English

Multimodal Large Language Models (MLLMs) have significantly advanced document understanding, yet current Doc-VQA evaluations score only the final answer and leave the supporting evidence unchecked. This answer-only approach masks a critical failure mode: a model can land on the correct answer while grounding it in the wrong passage -- a critical risk in high-stakes domains like law, finance, and medicine, where every conclusion must be traceable to a specific source region. To address this, we introduce CiteVQA, a benchmark that requires models to return element-level bounding-box citations alongside each answer, evaluating both jointly. CiteVQA comprises 1,897 questions across 711 PDFs spanning seven domains and two languages, averaging 40.6 pages per document. To ensure fidelity and scalability, the ground-truth citations are generated by an automated pipeline-which identifies crucial evidence via masking ablation-and are subsequently validated through expert review. At the core of our evaluation is Strict Attributed Accuracy (SAA), which credits a prediction only when the answer and the cited region are both correct. Auditing 20 MLLMs reveals a pervasive Attribution Hallucination: models frequently produce the right answer while citing the wrong region. The strongest system (Gemini-3.1-Pro-Preview) achieves an SAA of only 76.0, and the strongest open-source MLLM reaches just 22.5. Ultimately, towards trustworthy document intelligence, CiteVQA exposes a reliability gap that answer-only evaluations overlook, providing the instrumentation needed to close it. Our repository is available at https://github.com/opendatalab/CiteVQA.