ChartArena: Evaluación comparativa del análisis de gráficos en distintos idiomas, escenarios y formatos

Resumen

Los gráficos son un medio principal para transmitir información cuantitativa y relacional, sin embargo, evaluar sistemáticamente los modelos de análisis de gráficos sigue siendo difícil. Los puntos de referencia existentes se centran en tipos de gráficos limitados y dejan sin abordar en gran medida estructuras diagramáticas como diagramas de flujo y mapas mentales, mientras que los modelos producen resultados en formatos incompatibles, y los conjuntos de datos rara vez incluyen las imágenes impresas o dibujadas a mano que se encuentran en la práctica. Para abordar estos problemas, presentamos ChartArena, un punto de referencia bilingüe integral que abarca ocho familias de gráficos, que incluyen tanto gráficos numéricos como estructuras diagramáticas, cada uno evaluado en tres escenarios visuales: representaciones digitales, fotos impresas y fotos dibujadas a mano. El conjunto de datos se construye mediante un pipeline de anotación colaborativa humano-agente con verificación humana en múltiples etapas para garantizar la fiabilidad de las anotaciones. Para permitir una comparación justa entre modelos, diseñamos además un protocolo de evaluación independiente del formato que mapea las salidas heterogéneas en dos espacios semánticos canónicos: una vista triple normalizada y una vista de grafo dirigido, y las puntúa con métricas sensibles a la estructura. A través de una evaluación exhaustiva de 26 MLLMs líderes, observamos tres hallazgos consistentes: (i) los modelos propietarios de vanguardia como Gemini 3.1 Pro lideran en general, pero los sistemas de código abierto más potentes están cerrando rápidamente la brecha; (ii) los modelos de análisis de documentos manejan razonablemente los gráficos numéricos, pero quedan muy rezagados en las estructuras diagramáticas; y (iii) los analizadores de gráficos especializados siguen limitados a familias de gráficos reducidas. En todos los modelos, los gráficos de radar y los escenarios dibujados a mano siguen siendo especialmente desafiantes. Estos hallazgos muestran que ChartArena expone brechas de capacidad claras y proporciona una base unificada para futuros avances. ChartArena está disponible públicamente en https://github.com/pspdada/ChartArena.

English

Charts are a primary medium for conveying quantitative and relational information, yet systematically evaluating chart parsing models remains difficult. Existing benchmarks focus on narrow chart types and leave diagrammatic structures such as flowcharts and mind maps largely unaddressed, while models produce outputs in incompatible formats, and datasets rarely include the printed or hand-drawn images encountered in practice. To address these issues, we introduce ChartArena, a comprehensive bilingual benchmark covering eight chart families spanning both numeric charts and diagrammatic structures, each evaluated across three visual scenarios: digital renderings, printed photos, and hand-drawn photos. The dataset is built via a human-agent collaborative annotation pipeline with multi-stage human verification to ensure annotation reliability. To enable fair cross-model comparison, we further design a format-agnostic evaluation protocol that maps heterogeneous outputs into two canonical semantic spaces, a normalized triple view and a directed graph view, and scores them with structure-aware metrics. Through extensive evaluation of 26 leading MLLMs, we observe three consistent findings: (i) frontier proprietary models such as Gemini 3.1 Pro lead overall, yet the strongest open-source systems are rapidly closing the gap; (ii) document parsing models handle numeric charts reasonably but fall sharply behind on diagrammatic structures; and (iii) expert chart parsers remain limited to narrow chart families. Across all models, radar charts and hand-drawn scenarios stay especially challenging. These findings show that ChartArena exposes clear capability gaps and provides a unified foundation for future progress. ChartArena is publicly available at https://github.com/pspdada/ChartArena.