ChartArena: Benchmark voor grafiekparsing over talen, scenario's en formaten

Samenvatting

Grafieken zijn een primair medium voor het overbrengen van kwantitatieve en relationele informatie, maar het systematisch evalueren van grafiekparsemodellen blijft moeilijk. Bestaande benchmarks richten zich op smalle grafiektypen en laten diagramstructuren zoals stroomdiagrammen en mindmaps grotendeels onbehandeld, terwijl modellen output genereren in incompatibele formaten en datasets zelden de in de praktijk voorkomende afgedrukte of handgetekende afbeeldingen bevatten. Om deze problemen aan te pakken, introduceren we ChartArena, een uitgebreide tweetalige benchmark die acht grafiekfamilies omvat, zowel numerieke grafieken als diagramstructuren, elk geëvalueerd over drie visuele scenario's: digitale weergaven, afgedrukte foto's en handgetekende foto's. De dataset is opgebouwd via een mens-agent samenwerkingspijplijn voor annotatie met meerfasige menselijke verificatie om de betrouwbaarheid van annotaties te waarborgen. Om eerlijke cross-model vergelijking mogelijk te maken, ontwerpen we verder een formaat-agnostisch evaluatieprotocol dat heterogene outputs omzet in twee canonieke semantische ruimtes, een genormaliseerd tripleview en een gerichte graafweergave, en deze scoort met structuurbewuste metrieken. Door uitgebreide evaluatie van 26 toonaangevende MLLM's observeren we drie consistente bevindingen: (i) state-of-the-art propriëtaire modellen zoals Gemini 3.1 Pro leiden over het geheel genomen, maar de sterkste open-source systemen sluiten de kloof snel; (ii) documentparsemodellen verwerken numerieke grafieken redelijk, maar blijven sterk achter op diagramstructuren; en (iii) expertgrafiekparsers blijven beperkt tot smalle grafiekfamilies. Bij alle modellen blijven radargrafieken en handgetekende scenario's bijzonder uitdagend. Deze bevindingen tonen aan dat ChartArena duidelijke capaciteitskloven blootlegt en een uniforme basis biedt voor toekomstige vooruitgang. ChartArena is openbaar beschikbaar op https://github.com/pspdada/ChartArena.

English

Charts are a primary medium for conveying quantitative and relational information, yet systematically evaluating chart parsing models remains difficult. Existing benchmarks focus on narrow chart types and leave diagrammatic structures such as flowcharts and mind maps largely unaddressed, while models produce outputs in incompatible formats, and datasets rarely include the printed or hand-drawn images encountered in practice. To address these issues, we introduce ChartArena, a comprehensive bilingual benchmark covering eight chart families spanning both numeric charts and diagrammatic structures, each evaluated across three visual scenarios: digital renderings, printed photos, and hand-drawn photos. The dataset is built via a human-agent collaborative annotation pipeline with multi-stage human verification to ensure annotation reliability. To enable fair cross-model comparison, we further design a format-agnostic evaluation protocol that maps heterogeneous outputs into two canonical semantic spaces, a normalized triple view and a directed graph view, and scores them with structure-aware metrics. Through extensive evaluation of 26 leading MLLMs, we observe three consistent findings: (i) frontier proprietary models such as Gemini 3.1 Pro lead overall, yet the strongest open-source systems are rapidly closing the gap; (ii) document parsing models handle numeric charts reasonably but fall sharply behind on diagrammatic structures; and (iii) expert chart parsers remain limited to narrow chart families. Across all models, radar charts and hand-drawn scenarios stay especially challenging. These findings show that ChartArena exposes clear capability gaps and provides a unified foundation for future progress. ChartArena is publicly available at https://github.com/pspdada/ChartArena.