CiteVQA: 信頼できるドキュメントインテリジェンスのための証拠帰属のベンチマーク

要旨

マルチモーダル大規模言語モデル（MLLM）は文書理解を大幅に進歩させてきたが、現在のDoc-VQA評価では最終回答のみを採点し、それを裏付ける証拠は未検証のままである。この回答のみのアプローチは、重大な失敗モードを隠蔽している。すなわち、モデルが正しい回答にたどり着きながら、その根拠を誤った箇所に基づいてしまうことである。これは、あらゆる結論が特定のソース領域にトレース可能でなければならない法律、金融、医療といった高リスク領域において深刻なリスクとなる。この問題に対処するため、我々はCiteVQAを提案する。CiteVQAは、モデルが回答とともに要素レベルのバウンディングボックスによる引用を返すことを要求し、両者を同時に評価するベンチマークである。CiteVQAは、7つのドメインと2言語にわたる711のPDF（平均40.6ページ）に対して1,897の質問から構成される。正解引用の忠実性とスケーラビリティを確保するため、正解ラベルの引用は、マスキングアブレーションによって重要な証拠を特定する自動パイプラインによって生成され、その後専門家によるレビューで検証される。評価の中心はStrict Attributed Accuracy（SAA）であり、これは回答と引用領域の両方が正しい場合にのみ予測を正解とみなす。20のMLLMを監査した結果、広く「帰属幻覚（Attribution Hallucination）」が観察された。すなわち、モデルは正しい回答を生成しながらも、誤った領域を引用するのである。最も強力なシステム（Gemini-3.1-Pro-Preview）のSAAはわずか76.0であり、最も強力なオープンソースMLLMでは22.5に過ぎない。最終的に、信頼できる文書知能に向けて、CiteVQAは回答のみの評価が見逃していた信頼性のギャップを露呈し、それを埋めるために必要な手段を提供する。我々のリポジトリは https://github.com/opendatalab/CiteVQA で公開されている。

English

Multimodal Large Language Models (MLLMs) have significantly advanced document understanding, yet current Doc-VQA evaluations score only the final answer and leave the supporting evidence unchecked. This answer-only approach masks a critical failure mode: a model can land on the correct answer while grounding it in the wrong passage -- a critical risk in high-stakes domains like law, finance, and medicine, where every conclusion must be traceable to a specific source region. To address this, we introduce CiteVQA, a benchmark that requires models to return element-level bounding-box citations alongside each answer, evaluating both jointly. CiteVQA comprises 1,897 questions across 711 PDFs spanning seven domains and two languages, averaging 40.6 pages per document. To ensure fidelity and scalability, the ground-truth citations are generated by an automated pipeline-which identifies crucial evidence via masking ablation-and are subsequently validated through expert review. At the core of our evaluation is Strict Attributed Accuracy (SAA), which credits a prediction only when the answer and the cited region are both correct. Auditing 20 MLLMs reveals a pervasive Attribution Hallucination: models frequently produce the right answer while citing the wrong region. The strongest system (Gemini-3.1-Pro-Preview) achieves an SAA of only 76.0, and the strongest open-source MLLM reaches just 22.5. Ultimately, towards trustworthy document intelligence, CiteVQA exposes a reliability gap that answer-only evaluations overlook, providing the instrumentation needed to close it. Our repository is available at https://github.com/opendatalab/CiteVQA.