CiteVQA: Evaluación comparativa de la atribución de evidencia para una inteligencia documental confiable

Resumen

Los Modelos de Lenguaje Grandes Multimodales (MLLMs) han avanzado significativamente la comprensión de documentos, sin embargo, las evaluaciones actuales de Doc-VQA solo puntúan la respuesta final y dejan sin verificar la evidencia de respaldo. Este enfoque centrado únicamente en la respuesta oculta un modo de fallo crítico: un modelo puede obtener la respuesta correcta mientras la fundamenta en el pasaje equivocado, un riesgo crucial en ámbitos de alto riesgo como el derecho, las finanzas y la medicina, donde toda conclusión debe ser trazable hasta una región fuente específica. Para abordar esto, presentamos CiteVQA, un punto de referencia que exige que los modelos devuelvan citas mediante cuadros delimitadores a nivel de elemento junto con cada respuesta, evaluando ambos de forma conjunta. CiteVQA comprende 1,897 preguntas en 711 PDFs de siete dominios y dos idiomas, con un promedio de 40.6 páginas por documento. Para garantizar fidelidad y escalabilidad, las citas de referencia se generan mediante un pipeline automatizado —que identifica evidencia crucial a través de ablación de enmascaramiento— y posteriormente se validan mediante revisión de expertos. En el núcleo de nuestra evaluación se encuentra la Precisión Estricta Atribuida (SAA, por sus siglas en inglés), que acredita una predicción solo cuando tanto la respuesta como la región citada son correctas. La auditoría de 20 MLLMs revela una Alucinación de Atribución generalizada: los modelos producen con frecuencia la respuesta correcta mientras citan la región equivocada. El sistema más potente (Gemini-3.1-Pro-Preview) alcanza una SAA de solo 76.0, y el MLLM de código abierto más potente apenas llega a 22.5. En última instancia, en pos de una inteligencia documental confiable, CiteVQA expone una brecha de fiabilidad que las evaluaciones solo de respuesta pasan por alto, proporcionando la instrumentación necesaria para cerrarla. Nuestro repositorio está disponible en https://github.com/opendatalab/CiteVQA.

English

Multimodal Large Language Models (MLLMs) have significantly advanced document understanding, yet current Doc-VQA evaluations score only the final answer and leave the supporting evidence unchecked. This answer-only approach masks a critical failure mode: a model can land on the correct answer while grounding it in the wrong passage -- a critical risk in high-stakes domains like law, finance, and medicine, where every conclusion must be traceable to a specific source region. To address this, we introduce CiteVQA, a benchmark that requires models to return element-level bounding-box citations alongside each answer, evaluating both jointly. CiteVQA comprises 1,897 questions across 711 PDFs spanning seven domains and two languages, averaging 40.6 pages per document. To ensure fidelity and scalability, the ground-truth citations are generated by an automated pipeline-which identifies crucial evidence via masking ablation-and are subsequently validated through expert review. At the core of our evaluation is Strict Attributed Accuracy (SAA), which credits a prediction only when the answer and the cited region are both correct. Auditing 20 MLLMs reveals a pervasive Attribution Hallucination: models frequently produce the right answer while citing the wrong region. The strongest system (Gemini-3.1-Pro-Preview) achieves an SAA of only 76.0, and the strongest open-source MLLM reaches just 22.5. Ultimately, towards trustworthy document intelligence, CiteVQA exposes a reliability gap that answer-only evaluations overlook, providing the instrumentation needed to close it. Our repository is available at https://github.com/opendatalab/CiteVQA.