ChartArena: Бенчмаркинг парсинга диаграмм на разных языках, сценариях и форматах

Аннотация

Диаграммы служат основным средством передачи количественной и реляционной информации, однако систематическая оценка моделей парсинга диаграмм остаётся сложной задачей. Существующие бенчмарки сосредоточены на узких типах диаграмм и практически не затрагивают структурные схемы, такие как блок-схемы и интеллект-карты, тогда как модели генерируют результаты в несовместимых форматах, а наборы данных редко включают изображения, напечатанные или нарисованные от руки, которые встречаются на практике. Для решения этих проблем мы представляем ChartArena — всеобъемлющий двуязычный бенчмарк, охватывающий восемь семейств диаграмм, включающих как числовые диаграммы, так и структурные схемы, каждое из которых оценивается в трёх визуальных сценариях: цифровые рендеры, печатные фотографии и фотографии, нарисованные от руки. Набор данных создаётся с помощью коллаборативного конвейера аннотации человек-агент с многоэтапной верификацией человеком для обеспечения надёжности аннотаций. Для обеспечения справедливого сравнения между моделями мы дополнительно разрабатываем независимый от формата протокол оценки, который отображает гетерогенные выходные данные в два канонических семантических пространства — нормализованное тройное представление и представление ориентированного графа — и оценивает их с помощью структурно-зависимых метрик. В ходе обширной оценки 26 ведущих MLLM мы наблюдаем три устойчивых результата: (i) передовые проприетарные модели, такие как Gemini 3.1 Pro, лидируют в целом, однако наиболее сильные системы с открытым исходным кодом быстро сокращают разрыв; (ii) модели парсинга документов достаточно хорошо справляются с числовыми диаграммами, но значительно отстают в работе со структурными схемами; (iii) экспертные парсеры диаграмм остаются ограниченными узкими семействами диаграмм. Для всех моделей особенно сложными остаются лепестковые диаграммы и сценарии с рукописными изображениями. Эти результаты показывают, что ChartArena выявляет явные пробелы в возможностях и предоставляет единую основу для будущего прогресса. ChartArena доступен публично по адресу https://github.com/pspdada/ChartArena.

English

Charts are a primary medium for conveying quantitative and relational information, yet systematically evaluating chart parsing models remains difficult. Existing benchmarks focus on narrow chart types and leave diagrammatic structures such as flowcharts and mind maps largely unaddressed, while models produce outputs in incompatible formats, and datasets rarely include the printed or hand-drawn images encountered in practice. To address these issues, we introduce ChartArena, a comprehensive bilingual benchmark covering eight chart families spanning both numeric charts and diagrammatic structures, each evaluated across three visual scenarios: digital renderings, printed photos, and hand-drawn photos. The dataset is built via a human-agent collaborative annotation pipeline with multi-stage human verification to ensure annotation reliability. To enable fair cross-model comparison, we further design a format-agnostic evaluation protocol that maps heterogeneous outputs into two canonical semantic spaces, a normalized triple view and a directed graph view, and scores them with structure-aware metrics. Through extensive evaluation of 26 leading MLLMs, we observe three consistent findings: (i) frontier proprietary models such as Gemini 3.1 Pro lead overall, yet the strongest open-source systems are rapidly closing the gap; (ii) document parsing models handle numeric charts reasonably but fall sharply behind on diagrammatic structures; and (iii) expert chart parsers remain limited to narrow chart families. Across all models, radar charts and hand-drawn scenarios stay especially challenging. These findings show that ChartArena exposes clear capability gaps and provides a unified foundation for future progress. ChartArena is publicly available at https://github.com/pspdada/ChartArena.