От графиков к коду: иерархический эталон для мультимодальных моделей

Аннотация

Мы представляем Chart2Code — новый эталонный тест для оценки способностей крупных мультимодальных моделей (LMM) к пониманию диаграмм и генерации кода. Chart2Code разработан с явным учетом пользовательской перспективы, охватывая разнообразные реальные сценарии и постепенно увеличивая сложность задач. Он состоит из трех уровней: Уровень 1 (Воспроизведение диаграмм) воссоздает диаграммы на основе эталонного изображения и пользовательского запроса; Уровень 2 (Редактирование диаграмм) включает сложные изменения, такие как смена типа диаграммы или добавление элементов; а Уровень 3 (Генерация диаграмм из длинных таблиц) требует от моделей преобразования длинных, насыщенных информацией таблиц в точные диаграммы в соответствии с инструкциями пользователя. Насколько нам известно, это первый иерархический эталонный тест, который отражает практическое использование chart2code, систематически увеличивая сложность задач. В общей сложности Chart2Code содержит 2 023 задачи, охватывающие 22 типа диаграмм, и сопровождается многоуровневыми метриками оценки, которые проверяют как корректность кода, так и визуальное соответствие созданных диаграмм. Мы тестируем 25 современных (SoTA) LMM, включая как проприетарные, так и последние открытые модели, такие как GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL и Seed-1.6-VL. Результаты экспериментов показывают, что даже самая передовая модель GPT-5 в среднем набирает только 0,57 по оценке на основе кода и 0,22 по оценке качества диаграмм в задачах редактирования, что подчеркивает сложность Chart2Code. Мы ожидаем, что этот эталонный тест будет способствовать прогрессу в области мультимодального мышления и стимулировать разработку более надежных и универсальных LMM. Наш код и данные доступны на Chart2Code.

English

We introduce Chart2Code, a new benchmark for evaluating the chart understanding and code generation capabilities of large multimodal models (LMMs). Chart2Code is explicitly designed from a user-driven perspective, capturing diverse real-world scenarios and progressively increasing task difficulty. It consists of three levels: Level 1 (Chart Reproduction) reproduces charts from a reference figure and user query; Level 2 (Chart Editing) involves complex modifications such as changing chart types or adding elements; and Level 3 (Long-Table to Chart Generation) requires models to transform long, information-dense tables into faithful charts following user instructions. To our knowledge, this is the first hierarchical benchmark that reflects practical chart2code usage while systematically scaling task complexity. In total, Chart2Code contains 2,023 tasks across 22 chart types, paired with multi-level evaluation metrics that assess both code correctness and the visual fidelity of rendered charts. We benchmark 25 state-of-the-art (SoTA) LMMs, including both proprietary and the latest open-source models such as GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL, and Seed-1.6-VL. Experimental results demonstrate that even the SoTA model GPT-5 averages only 0.57 on code-based evaluation and 0.22 on chart-quality assessment across the editing tasks, underscoring the difficulty of Chart2Code. We anticipate this benchmark will drive advances in multimodal reasoning and foster the development of more robust and general-purpose LMMs. Our code and data are available on Chart2Code.

От графиков к коду: иерархический эталон для мультимодальных моделей

From Charts to Code: A Hierarchical Benchmark for Multimodal Models

Аннотация

Support