SVGenius: Оценка способностей языковых моделей в понимании, редактировании и генерации SVG

Аннотация

Крупные языковые модели (LLM) и мультимодальные LLM продемонстрировали перспективные возможности для обработки SVG, однако существующие бенчмарки страдают от ограниченного охвата реальных сценариев, отсутствия стратификации сложности и фрагментированных парадигм оценки. Мы представляем SVGenius — всеобъемлющий бенчмарк, включающий 2 377 запросов по трем прогрессивным направлениям: понимание, редактирование и генерация. Построенный на реальных данных из 24 прикладных областей с систематической стратификацией сложности, SVGenius оценивает модели через 8 категорий задач и 18 метрик. Мы протестировали 22 популярные модели, охватывающие различные масштабы, архитектуры, парадигмы обучения и уровни доступности. Наш анализ показывает, что, хотя проприетарные модели значительно превосходят открытые аналоги, все модели демонстрируют систематическое снижение производительности с увеличением сложности, что указывает на фундаментальные ограничения текущих подходов; однако обучение с усилением рассуждений оказывается более эффективным, чем простое масштабирование, для преодоления этих ограничений, хотя передача стиля остается наиболее сложной задачей для всех типов моделей. SVGenius устанавливает первую систематическую структуру оценки для обработки SVG, предоставляя ключевые инсайты для разработки более мощных моделей векторной графики и продвижения приложений автоматизированного графического дизайна. Приложение и дополнительные материалы (включая все данные и код) доступны по адресу https://zju-real.github.io/SVGenius.

English

Large Language Models (LLMs) and Multimodal LLMs have shown promising capabilities for SVG processing, yet existing benchmarks suffer from limited real-world coverage, lack of complexity stratification, and fragmented evaluation paradigms. We introduce SVGenius, a comprehensive benchmark comprising 2,377 queries across three progressive dimensions: understanding, editing, and generation. Built on real-world data from 24 application domains with systematic complexity stratification, SVGenius evaluates models through 8 task categories and 18 metrics. We assess 22 mainstream models spanning different scales, architectures, training paradigms, and accessibility levels. Our analysis reveals that while proprietary models significantly outperform open-source counterparts, all models exhibit systematic performance degradation with increasing complexity, indicating fundamental limitations in current approaches; however, reasoning-enhanced training proves more effective than pure scaling for overcoming these limitations, though style transfer remains the most challenging capability across all model types. SVGenius establishes the first systematic evaluation framework for SVG processing, providing crucial insights for developing more capable vector graphics models and advancing automated graphic design applications. Appendix and supplementary materials (including all data and code) are available at https://zju-real.github.io/SVGenius.

SVGenius: Оценка способностей языковых моделей в понимании, редактировании и генерации SVG

SVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation

Аннотация

Support