SVGenius: Benchmarking von LLMs im Verständnis, der Bearbeitung und Generierung von SVG

SVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation

June 3, 2025

Autoren: Siqi Chen, Xinyu Dong, Haolei Xu, Xingyu Wu, Fei Tang, Hang Zhang, Yuchen Yan, Linjuan Wu, Wenqi Zhang, Guiyang Hou, Yongliang Shen, Weiming Lu, Yueting Zhuang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) und multimodale LLMs haben vielversprechende Fähigkeiten für die SVG-Verarbeitung gezeigt, doch bestehende Benchmarks leiden unter begrenzter Abdeckung realer Anwendungsfälle, fehlender Komplexitätsstratifikation und fragmentierten Evaluationsparadigmen. Wir stellen SVGenius vor, einen umfassenden Benchmark, der 2.377 Abfragen über drei progressive Dimensionen umfasst: Verständnis, Bearbeitung und Generierung. Basierend auf realen Daten aus 24 Anwendungsdomänen mit systematischer Komplexitätsstratifikation evaluiert SVGenius Modelle durch 8 Aufgabenkategorien und 18 Metriken. Wir bewerten 22 Mainstream-Modelle, die verschiedene Skalen, Architekturen, Trainingsparadigmen und Zugänglichkeitsstufen abdecken. Unsere Analyse zeigt, dass proprietäre Modelle Open-Source-Modelle deutlich übertreffen, jedoch alle Modelle eine systematische Leistungsverschlechterung mit zunehmender Komplexität aufweisen, was auf grundlegende Beschränkungen aktueller Ansätze hinweist; dennoch erweist sich reasoning-verstärktes Training als effektiver als reine Skalierung, um diese Beschränkungen zu überwinden, obwohl Stiltransfer die anspruchsvollste Fähigkeit über alle Modelltypen hinweg bleibt. SVGenius etabliert den ersten systematischen Evaluationsrahmen für die SVG-Verarbeitung und liefert entscheidende Einblicke für die Entwicklung leistungsfähigerer Vektorgrafikmodelle und die Weiterentwicklung automatisierter Grafikdesignanwendungen. Anhang und ergänzende Materialien (einschließlich aller Daten und Codes) sind verfügbar unter https://zju-real.github.io/SVGenius.

English

Large Language Models (LLMs) and Multimodal LLMs have shown promising capabilities for SVG processing, yet existing benchmarks suffer from limited real-world coverage, lack of complexity stratification, and fragmented evaluation paradigms. We introduce SVGenius, a comprehensive benchmark comprising 2,377 queries across three progressive dimensions: understanding, editing, and generation. Built on real-world data from 24 application domains with systematic complexity stratification, SVGenius evaluates models through 8 task categories and 18 metrics. We assess 22 mainstream models spanning different scales, architectures, training paradigms, and accessibility levels. Our analysis reveals that while proprietary models significantly outperform open-source counterparts, all models exhibit systematic performance degradation with increasing complexity, indicating fundamental limitations in current approaches; however, reasoning-enhanced training proves more effective than pure scaling for overcoming these limitations, though style transfer remains the most challenging capability across all model types. SVGenius establishes the first systematic evaluation framework for SVG processing, providing crucial insights for developing more capable vector graphics models and advancing automated graphic design applications. Appendix and supplementary materials (including all data and code) are available at https://zju-real.github.io/SVGenius.