ChartArena : évaluation comparative de l'analyse de graphiques dans différentes langues, scénarios et formats

Résumé

Les graphiques constituent un médium essentiel pour transmettre des informations quantitatives et relationnelles, mais évaluer systématiquement les modèles d’analyse de graphiques reste difficile. Les référentiels existants se concentrent sur des types de graphiques restreints et laissent de côté des structures diagrammatiques telles que les organigrammes et les cartes mentales, tandis que les modèles produisent des sorties dans des formats incompatibles et que les jeux de données incluent rarement les images imprimées ou dessinées à la main rencontrées en pratique. Pour remédier à ces problèmes, nous présentons ChartArena, un référentiel bilingue complet couvrant huit familles de graphiques, incluant à la fois des graphiques numériques et des structures diagrammatiques, chacune évaluée selon trois scénarios visuels : rendus numériques, photos imprimées et photos dessinées à la main. Le jeu de données est construit via un pipeline d’annotation collaboratif humain-agent avec une vérification humaine en plusieurs étapes pour garantir la fiabilité des annotations. Afin de permettre une comparaison équitable entre modèles, nous concevons également un protocole d’évaluation indépendant du format qui projette les sorties hétérogènes dans deux espaces sémantiques canoniques – une vue triple normalisée et une vue en graphe orienté – et les évalue à l’aide de métriques sensibles à la structure. Grâce à une évaluation approfondie de 26 MLLM de pointe, nous observons trois résultats récurrents : (i) les modèles propriétaires de pointe comme Gemini 3.1 Pro dominent globalement, mais les systèmes open source les plus puissants comblent rapidement l’écart ; (ii) les modèles d’analyse de documents traitent correctement les graphiques numériques mais sont nettement en retard sur les structures diagrammatiques ; (iii) les analyseurs de graphiques experts restent limités à des familles de graphiques restreintes. Tous modèles confondus, les diagrammes radar et les scénarios manuscrits demeurent particulièrement difficiles. Ces résultats montrent que ChartArena expose des lacunes de capacité claires et fournit une base unifiée pour les progrès futurs. ChartArena est accessible publiquement à l’adresse https://github.com/pspdada/ChartArena.

English

Charts are a primary medium for conveying quantitative and relational information, yet systematically evaluating chart parsing models remains difficult. Existing benchmarks focus on narrow chart types and leave diagrammatic structures such as flowcharts and mind maps largely unaddressed, while models produce outputs in incompatible formats, and datasets rarely include the printed or hand-drawn images encountered in practice. To address these issues, we introduce ChartArena, a comprehensive bilingual benchmark covering eight chart families spanning both numeric charts and diagrammatic structures, each evaluated across three visual scenarios: digital renderings, printed photos, and hand-drawn photos. The dataset is built via a human-agent collaborative annotation pipeline with multi-stage human verification to ensure annotation reliability. To enable fair cross-model comparison, we further design a format-agnostic evaluation protocol that maps heterogeneous outputs into two canonical semantic spaces, a normalized triple view and a directed graph view, and scores them with structure-aware metrics. Through extensive evaluation of 26 leading MLLMs, we observe three consistent findings: (i) frontier proprietary models such as Gemini 3.1 Pro lead overall, yet the strongest open-source systems are rapidly closing the gap; (ii) document parsing models handle numeric charts reasonably but fall sharply behind on diagrammatic structures; and (iii) expert chart parsers remain limited to narrow chart families. Across all models, radar charts and hand-drawn scenarios stay especially challenging. These findings show that ChartArena exposes clear capability gaps and provides a unified foundation for future progress. ChartArena is publicly available at https://github.com/pspdada/ChartArena.