HakushoBench: Ein japanischer Diagramm- und Tabellen-VQA-Benchmark aus Regierungsweißbüchern

Zusammenfassung

Das Verständnis von Diagramm- und Tabellenbildern ist entscheidend für die Anwendung von Vision-Language-Modellen (VLMs) auf das Verständnis realer Dokumente. Während sich englische Benchmarks rasant weiterentwickelt haben, sind nicht-englische Pendants rar, sodass unklar bleibt, inwieweit dieser Fortschritt sprachübergreifend generalisiert. Ein zentrales Hindernis ist die Schwierigkeit, realistische und vielfältige nicht-englische Diagramm- und Tabellenbilder in großem Umfang zu sammeln. Um dies zu adressieren, nutzen wir Regierungsweißbücher als skalierbare Quelle für die Benchmark-Konstruktion jenseits des Englischen, da sie natürlich vorkommende Diagramme und Tabellen in unterschiedlichen Formaten und Domänen enthalten und in vielen Ländern frei zugänglich sind. Als erste Umsetzung führen wir HakushoBench ein, einen anspruchsvollen japanischen Chart- und Table-VQA-Benchmark, der aus 33 Regierungsweißbüchern erstellt wurde. HakushoBench umfasst 2.053 Bilder aus über zehn Bildtypen mit manuell annotierten QA-Paaren, die darauf ausgelegt sind, ein tiefes und ganzheitliches Verständnis von Diagrammen und Tabellen zu bewerten, nicht nur lokale visuelle Hinweise. Experimente mit einer breiten Palette von VLMs zeigen, dass HakushoBench für Modelle mit offenen Gewichten herausfordernd bleibt: Das beste Open-Weight-Modell erreicht nur 58,6 % Genauigkeit, und eine Lücke von 34,9 Punkten zwischen Open-Weight- und proprietären Modellen unterstreicht den erheblichen Verbesserungsbedarf beim komplexen Diagramm- und Tabellenverständnis. Wir veröffentlichen unseren Datensatz und unseren Code.

English

Understanding chart and table images is essential for applying vision-language models (VLMs) to real-world document understanding. While English benchmarks have advanced rapidly, non-English counterparts remain scarce, leaving it unclear whether this progress generalizes across languages. A key obstacle is the difficulty of collecting realistic and diverse non-English chart and table images at scale. To address this, we leverage governmental white papers as a scalable source for benchmark construction beyond English, as they contain naturally occurring charts and tables across diverse formats and domains and are freely accessible in many countries. As a first instantiation, we introduce HakushoBench, a challenging Japanese chart and table VQA benchmark built from 33 governmental white papers. HakushoBench contains 2,053 images spanning over 10 image types, with manually annotated QA pairs, designed to assess deep and holistic understanding of charts and tables, rather than local visual cues alone. Experiments across a broad range of VLMs demonstrate that HakushoBench remains challenging for open-weight models: the best open-weight model achieves only 58.6% accuracy, and a 34.9-point gap between open-weight and proprietary models highlights substantial room for improvement in complex chart and table understanding. We release our dataset and code.