CiteVQA : Évaluation comparative de l'attribution de preuves pour une intelligence documentaire fiable

Résumé

Les Modèles de Langage Multimodaux à Grande Échelle (MLLMs) ont considérablement amélioré la compréhension de documents. Pourtant, les évaluations actuelles de Doc-VQA ne notent que la réponse finale et ne vérifient pas les preuves sous-jacentes. Cette approche centrée uniquement sur la réponse masque un mode de défaillance critique : un modèle peut fournir une réponse correcte tout en l'ancrant dans le mauvais passage — un risque majeur dans des domaines à forts enjeux comme le droit, la finance et la médecine, où chaque conclusion doit être traçable jusqu'à une région source spécifique. Pour y remédier, nous introduisons CiteVQA, un benchmark qui exige que les modèles renvoient des citations sous forme de boîtes englobantes au niveau des éléments, en plus de chaque réponse, et les évalue conjointement. CiteVQA comprend 1897 questions réparties sur 711 PDF couvrant sept domaines et deux langues, avec une moyenne de 40,6 pages par document. Pour garantir la fidélité et l'évolutivité, les citations de vérité terrain sont générées par un pipeline automatisé — qui identifie les preuves cruciales via une ablation par masquage — puis validées par un examen d'experts. Au cœur de notre évaluation se trouve la Précision Attribuée Stricte (SAA), qui ne crédite une prédiction que lorsque la réponse et la région citée sont toutes deux correctes. L'audit de 20 MLLMs révèle une Hallucination d'Attribution omniprésente : les modèles produisent fréquemment une réponse correcte tout en citant une région erronée. Le système le plus performant (Gemini-3.1-Pro-Preview) atteint une SAA de seulement 76,0, et le meilleur MLLM open-source atteint à peine 22,5. En définitive, en vue d'une intelligence documentaire digne de confiance, CiteVQA expose un écart de fiabilité que les évaluations centrées uniquement sur la réponse négligent, fournissant ainsi l'instrumentation nécessaire pour le combler. Notre dépôt est disponible à l'adresse https://github.com/opendatalab/CiteVQA.

English

Multimodal Large Language Models (MLLMs) have significantly advanced document understanding, yet current Doc-VQA evaluations score only the final answer and leave the supporting evidence unchecked. This answer-only approach masks a critical failure mode: a model can land on the correct answer while grounding it in the wrong passage -- a critical risk in high-stakes domains like law, finance, and medicine, where every conclusion must be traceable to a specific source region. To address this, we introduce CiteVQA, a benchmark that requires models to return element-level bounding-box citations alongside each answer, evaluating both jointly. CiteVQA comprises 1,897 questions across 711 PDFs spanning seven domains and two languages, averaging 40.6 pages per document. To ensure fidelity and scalability, the ground-truth citations are generated by an automated pipeline-which identifies crucial evidence via masking ablation-and are subsequently validated through expert review. At the core of our evaluation is Strict Attributed Accuracy (SAA), which credits a prediction only when the answer and the cited region are both correct. Auditing 20 MLLMs reveals a pervasive Attribution Hallucination: models frequently produce the right answer while citing the wrong region. The strongest system (Gemini-3.1-Pro-Preview) achieves an SAA of only 76.0, and the strongest open-source MLLM reaches just 22.5. Ultimately, towards trustworthy document intelligence, CiteVQA exposes a reliability gap that answer-only evaluations overlook, providing the instrumentation needed to close it. Our repository is available at https://github.com/opendatalab/CiteVQA.