차트에서 코드로: 다중모달 모델을 위한 계층적 벤치마크

초록

우리는 차트 이해와 코드 생성 능력을 평가하기 위한 새로운 벤치마크인 Chart2Code를 소개합니다. Chart2Code는 사용자 중심의 관점에서 명시적으로 설계되었으며, 다양한 실제 시나리오를 포착하고 점진적으로 과제 난이도를 높입니다. 이 벤치마크는 세 가지 수준으로 구성됩니다: Level 1(차트 재현)은 참조 그림과 사용자 쿼리에서 차트를 재현하고, Level 2(차트 편집)는 차트 유형 변경 또는 요소 추가와 같은 복잡한 수정을 포함하며, Level 3(긴 테이블에서 차트 생성)은 모델이 사용자 지시에 따라 정보가 밀집된 긴 테이블을 충실한 차트로 변환하도록 요구합니다. 우리가 아는 한, 이는 실용적인 chart2code 사용을 반영하면서도 과제 복잡도를 체계적으로 확장하는 첫 번째 계층적 벤치마크입니다. 총 22개의 차트 유형에 걸쳐 2,023개의 과제를 포함하며, 코드 정확성과 렌더링된 차트의 시각적 충실도를 모두 평가하는 다단계 평가 지표와 짝을 이룹니다. 우리는 GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL, Seed-1.6-VL 등 최신 오픈소스 모델을 포함한 25개의 최첨단(SoTA) LMM을 벤치마크했습니다. 실험 결과, SoTA 모델인 GPT-5조차도 편집 과제에서 코드 기반 평가 평균 0.57, 차트 품질 평가 평균 0.22에 그쳐 Chart2Code의 난이도를 보여줍니다. 우리는 이 벤치마크가 다중모달 추론의 발전을 촉진하고 더 강력하고 범용적인 LMM 개발을 촉진할 것으로 기대합니다. 우리의 코드와 데이터는 Chart2Code에서 확인할 수 있습니다.

English

We introduce Chart2Code, a new benchmark for evaluating the chart understanding and code generation capabilities of large multimodal models (LMMs). Chart2Code is explicitly designed from a user-driven perspective, capturing diverse real-world scenarios and progressively increasing task difficulty. It consists of three levels: Level 1 (Chart Reproduction) reproduces charts from a reference figure and user query; Level 2 (Chart Editing) involves complex modifications such as changing chart types or adding elements; and Level 3 (Long-Table to Chart Generation) requires models to transform long, information-dense tables into faithful charts following user instructions. To our knowledge, this is the first hierarchical benchmark that reflects practical chart2code usage while systematically scaling task complexity. In total, Chart2Code contains 2,023 tasks across 22 chart types, paired with multi-level evaluation metrics that assess both code correctness and the visual fidelity of rendered charts. We benchmark 25 state-of-the-art (SoTA) LMMs, including both proprietary and the latest open-source models such as GPT-5, Qwen2.5-VL, InternVL3/3.5, MiMo-VL, and Seed-1.6-VL. Experimental results demonstrate that even the SoTA model GPT-5 averages only 0.57 on code-based evaluation and 0.22 on chart-quality assessment across the editing tasks, underscoring the difficulty of Chart2Code. We anticipate this benchmark will drive advances in multimodal reasoning and foster the development of more robust and general-purpose LMMs. Our code and data are available on Chart2Code.

차트에서 코드로: 다중모달 모델을 위한 계층적 벤치마크

From Charts to Code: A Hierarchical Benchmark for Multimodal Models

초록

Support