CiteVQA: Benchmarking de Atribuição de Evidências para Inteligência de Documentos Confiável

Resumo

Os Modelos de Linguagem Grande Multimodais (MLLMs) avançaram significativamente a compreensão de documentos, no entanto, as avaliações atuais de Doc-VQA pontuam apenas a resposta final e deixam a evidência de suporte sem verificação. Essa abordagem centrada apenas na resposta mascara um modo crítico de falha: um modelo pode chegar à resposta correta enquanto a fundamenta na passagem errada – um risco crítico em domínios de alto risco como direito, finanças e medicina, onde cada conclusão deve ser rastreável a uma região de origem específica. Para abordar isso, apresentamos o CiteVQA, um benchmark que exige que os modelos retornem citações em caixas delimitadoras no nível de elemento juntamente com cada resposta, avaliando ambos conjuntamente. O CiteVQA compreende 1.897 perguntas em 711 PDFs abrangendo sete domínios e dois idiomas, com média de 40,6 páginas por documento. Para garantir fidelidade e escalabilidade, as citações de referência (ground-truth) são geradas por um pipeline automatizado – que identifica evidências cruciais por meio de ablação por mascaramento – e posteriormente validadas por revisão de especialistas. No centro da nossa avaliação está a Acurácia Atribuída Estrita (SAA), que credita uma previsão apenas quando a resposta e a região citada estão ambas corretas. A auditoria de 20 MLLMs revela uma Alucinação de Atribuição generalizada: os modelos frequentemente produzem a resposta correta enquanto citam a região errada. O sistema mais forte (Gemini-3.1-Pro-Preview) alcança uma SAA de apenas 76,0, e o MLLM de código aberto mais forte atinge apenas 22,5. Por fim, rumo à inteligência documental confiável, o CiteVQA expõe uma lacuna de confiabilidade que as avaliações centradas apenas na resposta ignoram, fornecendo a instrumentação necessária para fechá-la. Nosso repositório está disponível em https://github.com/opendatalab/CiteVQA.

English

Multimodal Large Language Models (MLLMs) have significantly advanced document understanding, yet current Doc-VQA evaluations score only the final answer and leave the supporting evidence unchecked. This answer-only approach masks a critical failure mode: a model can land on the correct answer while grounding it in the wrong passage -- a critical risk in high-stakes domains like law, finance, and medicine, where every conclusion must be traceable to a specific source region. To address this, we introduce CiteVQA, a benchmark that requires models to return element-level bounding-box citations alongside each answer, evaluating both jointly. CiteVQA comprises 1,897 questions across 711 PDFs spanning seven domains and two languages, averaging 40.6 pages per document. To ensure fidelity and scalability, the ground-truth citations are generated by an automated pipeline-which identifies crucial evidence via masking ablation-and are subsequently validated through expert review. At the core of our evaluation is Strict Attributed Accuracy (SAA), which credits a prediction only when the answer and the cited region are both correct. Auditing 20 MLLMs reveals a pervasive Attribution Hallucination: models frequently produce the right answer while citing the wrong region. The strongest system (Gemini-3.1-Pro-Preview) achieves an SAA of only 76.0, and the strongest open-source MLLM reaches just 22.5. Ultimately, towards trustworthy document intelligence, CiteVQA exposes a reliability gap that answer-only evaluations overlook, providing the instrumentation needed to close it. Our repository is available at https://github.com/opendatalab/CiteVQA.