HakushoBench: Японский бенчмарк для VQA на диаграммах и таблицах из правительственных белых книг

Аннотация

Понимание изображений диаграмм и таблиц имеет важное значение для применения моделей зрения-языка (VLMs) в анализе реальных документов. Хотя англоязычные бенчмарки быстро развиваются, их неанглоязычные аналоги остаются малочисленными, что оставляет неясным, обобщается ли этот прогресс на другие языки. Ключевым препятствием является сложность сбора реалистичных и разнообразных неанглоязычных изображений диаграмм и таблиц в масштабе. Для решения этой задачи мы используем правительственные доклады как масштабируемый источник для построения бенчмарков за пределами английского языка, поскольку они содержат естественно встречающиеся диаграммы и таблицы различных форматов и областей и свободно доступны во многих странах. В качестве первой реализации мы представляем HakushoBench — сложный японский бенчмарк VQA по диаграммам и таблицам, построенный на основе 33 правительственных докладов. HakushoBench содержит 2 053 изображения, охватывающие более 10 типов изображений, с вручную аннотированными парами вопрос–ответ, предназначенными для оценки глубокого и целостного понимания диаграмм и таблиц, а не только локальных визуальных подсказок. Эксперименты с широким спектром VLM показывают, что HakushoBench остается сложным для моделей с открытым весом: лучшая модель с открытым весом достигает лишь 58,6% точности, а разрыв в 34,9 пункта между моделями с открытым весом и проприетарными моделями подчеркивает существенный потенциал для улучшения в сложном понимании диаграмм и таблиц. Мы публикуем наш набор данных и код.

English

Understanding chart and table images is essential for applying vision-language models (VLMs) to real-world document understanding. While English benchmarks have advanced rapidly, non-English counterparts remain scarce, leaving it unclear whether this progress generalizes across languages. A key obstacle is the difficulty of collecting realistic and diverse non-English chart and table images at scale. To address this, we leverage governmental white papers as a scalable source for benchmark construction beyond English, as they contain naturally occurring charts and tables across diverse formats and domains and are freely accessible in many countries. As a first instantiation, we introduce HakushoBench, a challenging Japanese chart and table VQA benchmark built from 33 governmental white papers. HakushoBench contains 2,053 images spanning over 10 image types, with manually annotated QA pairs, designed to assess deep and holistic understanding of charts and tables, rather than local visual cues alone. Experiments across a broad range of VLMs demonstrate that HakushoBench remains challenging for open-weight models: the best open-weight model achieves only 58.6% accuracy, and a 34.9-point gap between open-weight and proprietary models highlights substantial room for improvement in complex chart and table understanding. We release our dataset and code.