De Gráficos a Código: Um Benchmark Hierárquico para Modelos Multimodais

Resumo

Apresentamos o Chart2Code, um novo benchmark para avaliar as capacidades de compreensão de gráficos e geração de código de modelos multimodais de grande escala (LMMs). O Chart2Code foi explicitamente projetado a partir de uma perspectiva orientada ao usuário, capturando diversos cenários do mundo real e aumentando progressivamente a dificuldade das tarefas. Ele consiste em três níveis: Nível 1 (Reprodução de Gráficos) reproduz gráficos a partir de uma figura de referência e uma consulta do usuário; Nível 2 (Edição de Gráficos) envolve modificações complexas, como alterar tipos de gráficos ou adicionar elementos; e Nível 3 (Geração de Gráficos a partir de Tabelas Longas) exige que os modelos transformem tabelas longas e densas em informações em gráficos fiéis, seguindo as instruções do usuário. Até onde sabemos, este é o primeiro benchmark hierárquico que reflete o uso prático de chart2code enquanto escala sistematicamente a complexidade das tarefas. No total, o Chart2Code contém 2.023 tarefas em 22 tipos de gráficos, acompanhadas de métricas de avaliação de múltiplos níveis que avaliam tanto a correção do código quanto a fidelidade visual dos gráficos renderizados. Avaliamos 25 LMMs state-of-the-art (SoTA), incluindo modelos proprietários e os mais recentes modelos de código aberto, como GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL e Seed-1.6-VL. Os resultados experimentais demonstram que mesmo o modelo SoTA GPT-5 obtém uma média de apenas 0,57 na avaliação baseada em código e 0,22 na avaliação da qualidade dos gráficos nas tarefas de edição, destacando a dificuldade do Chart2Code. Antecipamos que este benchmark impulsionará avanços no raciocínio multimodal e fomentará o desenvolvimento de LMMs mais robustos e de propósito geral. Nosso código e dados estão disponíveis no Chart2Code.

English

We introduce Chart2Code, a new benchmark for evaluating the chart understanding and code generation capabilities of large multimodal models (LMMs). Chart2Code is explicitly designed from a user-driven perspective, capturing diverse real-world scenarios and progressively increasing task difficulty. It consists of three levels: Level 1 (Chart Reproduction) reproduces charts from a reference figure and user query; Level 2 (Chart Editing) involves complex modifications such as changing chart types or adding elements; and Level 3 (Long-Table to Chart Generation) requires models to transform long, information-dense tables into faithful charts following user instructions. To our knowledge, this is the first hierarchical benchmark that reflects practical chart2code usage while systematically scaling task complexity. In total, Chart2Code contains 2,023 tasks across 22 chart types, paired with multi-level evaluation metrics that assess both code correctness and the visual fidelity of rendered charts. We benchmark 25 state-of-the-art (SoTA) LMMs, including both proprietary and the latest open-source models such as GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL, and Seed-1.6-VL. Experimental results demonstrate that even the SoTA model GPT-5 averages only 0.57 on code-based evaluation and 0.22 on chart-quality assessment across the editing tasks, underscoring the difficulty of Chart2Code. We anticipate this benchmark will drive advances in multimodal reasoning and foster the development of more robust and general-purpose LMMs. Our code and data are available on Chart2Code.

De Gráficos a Código: Um Benchmark Hierárquico para Modelos Multimodais

From Charts to Code: A Hierarchical Benchmark for Multimodal Models

Resumo

Support