ChartArena: Benchmarking des Chart-Parsings über Sprachen, Szenarien und Formate hinweg

Zusammenfassung

Diagramme sind ein primäres Medium zur Vermittlung quantitativer und relationaler Informationen, doch die systematische Evaluierung von Diagramm-Parsing-Modellen bleibt schwierig. Bestehende Benchmarks konzentrieren sich auf enge Diagrammtypen und lassen diagrammatische Strukturen wie Flussdiagramme und Mindmaps weitgehend unberücksichtigt, während Modelle Ausgaben in inkompatiblen Formaten produzieren und Datensätze selten die in der Praxis vorkommenden gedruckten oder handgezeichneten Bilder enthalten. Um diese Probleme zu adressieren, führen wir ChartArena ein, einen umfassenden bilingualen Benchmark, der acht Diagrammfamilien abdeckt, die sowohl numerische Diagramme als auch diagrammatische Strukturen umfassen, jeweils evaluiert in drei visuellen Szenarien: digitale Renderings, gedruckte Fotos und handgezeichnete Fotos. Der Datensatz wird durch eine kollaborative Annotation-Pipeline aus Mensch und Agent mit mehrstufiger menschlicher Verifikation erstellt, um die Zuverlässigkeit der Annotationen zu gewährleisten. Um einen fairen modellübergreifenden Vergleich zu ermöglichen, entwickeln wir zudem ein formatunabhängiges Evaluationsprotokoll, das heterogene Ausgaben in zwei kanonische semantische Räume abbildet – eine normalisierte Triplet-Ansicht und eine gerichtete Graphenansicht – und diese mit strukturbewussten Metriken bewertet. Durch umfangreiche Evaluierung von 26 führenden MLLMs stellen wir drei konsistente Ergebnisse fest: (i) führende proprietäre Modelle wie Gemini 3.1 Pro liegen insgesamt vorn, doch die stärksten Open-Source-Systeme holen schnell auf; (ii) Dokumenten-Parsing-Modelle verarbeiten numerische Diagramme angemessen, fallen aber bei diagrammatischen Strukturen stark zurück; und (iii) spezialisierte Diagramm-Parser bleiben auf enge Diagrammfamilien beschränkt. Über alle Modelle hinweg bleiben Radar-Diagramme und handgezeichnete Szenarien besonders herausfordernd. Diese Erkenntnisse zeigen, dass ChartArena klare Fähigkeitslücken aufdeckt und eine einheitliche Grundlage für zukünftige Fortschritte bietet. ChartArena ist öffentlich verfügbar unter https://github.com/pspdada/ChartArena.

English

Charts are a primary medium for conveying quantitative and relational information, yet systematically evaluating chart parsing models remains difficult. Existing benchmarks focus on narrow chart types and leave diagrammatic structures such as flowcharts and mind maps largely unaddressed, while models produce outputs in incompatible formats, and datasets rarely include the printed or hand-drawn images encountered in practice. To address these issues, we introduce ChartArena, a comprehensive bilingual benchmark covering eight chart families spanning both numeric charts and diagrammatic structures, each evaluated across three visual scenarios: digital renderings, printed photos, and hand-drawn photos. The dataset is built via a human-agent collaborative annotation pipeline with multi-stage human verification to ensure annotation reliability. To enable fair cross-model comparison, we further design a format-agnostic evaluation protocol that maps heterogeneous outputs into two canonical semantic spaces, a normalized triple view and a directed graph view, and scores them with structure-aware metrics. Through extensive evaluation of 26 leading MLLMs, we observe three consistent findings: (i) frontier proprietary models such as Gemini 3.1 Pro lead overall, yet the strongest open-source systems are rapidly closing the gap; (ii) document parsing models handle numeric charts reasonably but fall sharply behind on diagrammatic structures; and (iii) expert chart parsers remain limited to narrow chart families. Across all models, radar charts and hand-drawn scenarios stay especially challenging. These findings show that ChartArena exposes clear capability gaps and provides a unified foundation for future progress. ChartArena is publicly available at https://github.com/pspdada/ChartArena.