SVGenius: SVG 이해, 편집 및 생성에서의 LLM 벤치마킹

SVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation

June 3, 2025

저자: Siqi Chen, Xinyu Dong, Haolei Xu, Xingyu Wu, Fei Tang, Hang Zhang, Yuchen Yan, Linjuan Wu, Wenqi Zhang, Guiyang Hou, Yongliang Shen, Weiming Lu, Yueting Zhuang

cs.AI

초록

대형 언어 모델(LLMs) 및 멀티모달 LLMs는 SVG 처리에 있어 유망한 능력을 보여주고 있지만, 기존 벤치마크는 현실 세계의 제한된 적용 범위, 복잡성 계층화의 부재, 그리고 단편적인 평가 패러다임으로 인해 한계를 보이고 있다. 본 연구에서는 이해, 편집, 생성이라는 세 가지 점진적 차원에 걸쳐 2,377개의 질의를 포함한 포괄적인 벤치마크인 SVGenius를 소개한다. SVGenius는 24개의 응용 분야에서 수집된 현실 세계 데이터를 기반으로 체계적인 복잡성 계층화를 통해 구축되었으며, 8개의 작업 범주와 18개의 지표를 통해 모델을 평가한다. 우리는 다양한 규모, 아키텍처, 훈련 패러다임, 접근성 수준을 아우르는 22개의 주류 모델을 평가하였다. 분석 결과, 독점 모델이 오픈소스 모델을 크게 앞서는 것으로 나타났지만, 모든 모델은 복잡성이 증가함에 따라 체계적인 성능 저하를 보여 현재 접근법의 근본적인 한계를 드러냈다. 그러나 이러한 한계를 극복하기 위해 순수한 규모 확장보다는 추론 강화 훈련이 더 효과적인 것으로 나타났으며, 스타일 전환은 모든 모델 유형에서 가장 어려운 능력으로 남아 있었다. SVGenius는 SVG 처리를 위한 첫 번째 체계적인 평가 프레임워크를 구축함으로써, 더 능력 있는 벡터 그래픽 모델 개발과 자동화된 그래픽 디자인 응용 프로그램의 발전에 중요한 통찰을 제공한다. 부록 및 보조 자료(모든 데이터 및 코드 포함)는 https://zju-real.github.io/SVGenius에서 확인할 수 있다.

English

Large Language Models (LLMs) and Multimodal LLMs have shown promising capabilities for SVG processing, yet existing benchmarks suffer from limited real-world coverage, lack of complexity stratification, and fragmented evaluation paradigms. We introduce SVGenius, a comprehensive benchmark comprising 2,377 queries across three progressive dimensions: understanding, editing, and generation. Built on real-world data from 24 application domains with systematic complexity stratification, SVGenius evaluates models through 8 task categories and 18 metrics. We assess 22 mainstream models spanning different scales, architectures, training paradigms, and accessibility levels. Our analysis reveals that while proprietary models significantly outperform open-source counterparts, all models exhibit systematic performance degradation with increasing complexity, indicating fundamental limitations in current approaches; however, reasoning-enhanced training proves more effective than pure scaling for overcoming these limitations, though style transfer remains the most challenging capability across all model types. SVGenius establishes the first systematic evaluation framework for SVG processing, providing crucial insights for developing more capable vector graphics models and advancing automated graphic design applications. Appendix and supplementary materials (including all data and code) are available at https://zju-real.github.io/SVGenius.