HakushoBench : un benchmark de VQA pour graphiques et tableaux issu de livres blancs gouvernementaux japonais

Résumé

Comprendre les images de graphiques et de tableaux est essentiel pour appliquer les modèles vision-langage (VLM) à l’analyse de documents réels. Alors que les référentiels en anglais ont progressé rapidement, leurs équivalents dans d’autres langues restent rares, ce qui laisse incertain si ces progrès se généralisent à travers les langues. Un obstacle majeur réside dans la difficulté de collecter à grande échelle des images réalistes et diverses de graphiques et tableaux non anglophones. Pour y remédier, nous exploitons les livres blancs gouvernementaux comme source évolutive pour la construction de référentiels au-delà de l’anglais, car ils contiennent des graphiques et tableaux naturels dans des formats et domaines variés et sont librement accessibles dans de nombreux pays. En première illustration, nous présentons HakushoBench, un référentiel exigeant de VQA sur graphiques et tableaux en japonais, construit à partir de 33 livres blancs gouvernementaux. HakushoBench comprend 2 053 images couvrant plus de 10 types d’images, avec des paires question-réponse annotées manuellement, conçues pour évaluer une compréhension profonde et holistique des graphiques et tableaux, au-delà des seuls indices visuels locaux. Des expériences menées sur un large éventail de VLM montrent que HakushoBench reste difficile pour les modèles à poids ouverts : le meilleur d’entre eux n’atteint que 58,6 % de précision, et un écart de 34,9 points entre modèles à poids ouverts et modèles propriétaires souligne une marge d’amélioration considérable dans la compréhension complexe des graphiques et tableaux. Nous publions notre ensemble de données et notre code.

English

Understanding chart and table images is essential for applying vision-language models (VLMs) to real-world document understanding. While English benchmarks have advanced rapidly, non-English counterparts remain scarce, leaving it unclear whether this progress generalizes across languages. A key obstacle is the difficulty of collecting realistic and diverse non-English chart and table images at scale. To address this, we leverage governmental white papers as a scalable source for benchmark construction beyond English, as they contain naturally occurring charts and tables across diverse formats and domains and are freely accessible in many countries. As a first instantiation, we introduce HakushoBench, a challenging Japanese chart and table VQA benchmark built from 33 governmental white papers. HakushoBench contains 2,053 images spanning over 10 image types, with manually annotated QA pairs, designed to assess deep and holistic understanding of charts and tables, rather than local visual cues alone. Experiments across a broad range of VLMs demonstrate that HakushoBench remains challenging for open-weight models: the best open-weight model achieves only 58.6% accuracy, and a 34.9-point gap between open-weight and proprietary models highlights substantial room for improvement in complex chart and table understanding. We release our dataset and code.