HakushoBench: Un benchmark de VQA para gráficos y tablas en japonés basado en libros blancos gubernamentales

Resumen

Comprender imágenes de gráficos y tablas es esencial para aplicar modelos de visión y lenguaje (VLMs) al análisis de documentos del mundo real. Si bien los puntos de referencia en inglés han avanzado rápidamente, sus contrapartes en otros idiomas siguen siendo escasas, lo que deja sin claridad si este progreso se generaliza entre lenguas. Un obstáculo clave es la dificultad de recopilar imágenes realistas y diversas de gráficos y tablas en otros idiomas a gran escala. Para abordar esto, aprovechamos los documentos gubernamentales como una fuente escalable para la construcción de puntos de referencia más allá del inglés, ya que contienen gráficos y tablas que aparecen de forma natural en diversos formatos y dominios, y son de acceso gratuito en muchos países. Como primera instanciación, presentamos HakushoBench, un desafiante punto de referencia de VQA (respuesta a preguntas visuales) sobre gráficos y tablas en japonés, construido a partir de 33 documentos gubernamentales. HakushoBench contiene 2053 imágenes que abarcan más de 10 tipos de imágenes, con pares de preguntas y respuestas anotados manualmente, diseñados para evaluar una comprensión profunda y holística de gráficos y tablas, más allá de las señales visuales locales únicamente. Los experimentos realizados en una amplia gama de VLMs demuestran que HakushoBench sigue siendo un desafío para los modelos de pesos abiertos: el mejor modelo de pesos abiertos alcanza solo un 58.6% de precisión, y una brecha de 34.9 puntos entre modelos de pesos abiertos y propietarios resalta un margen sustancial de mejora en la comprensión compleja de gráficos y tablas. Publicamos nuestro conjunto de datos y código.

English

Understanding chart and table images is essential for applying vision-language models (VLMs) to real-world document understanding. While English benchmarks have advanced rapidly, non-English counterparts remain scarce, leaving it unclear whether this progress generalizes across languages. A key obstacle is the difficulty of collecting realistic and diverse non-English chart and table images at scale. To address this, we leverage governmental white papers as a scalable source for benchmark construction beyond English, as they contain naturally occurring charts and tables across diverse formats and domains and are freely accessible in many countries. As a first instantiation, we introduce HakushoBench, a challenging Japanese chart and table VQA benchmark built from 33 governmental white papers. HakushoBench contains 2,053 images spanning over 10 image types, with manually annotated QA pairs, designed to assess deep and holistic understanding of charts and tables, rather than local visual cues alone. Experiments across a broad range of VLMs demonstrate that HakushoBench remains challenging for open-weight models: the best open-weight model achieves only 58.6% accuracy, and a 34.9-point gap between open-weight and proprietary models highlights substantial room for improvement in complex chart and table understanding. We release our dataset and code.