SVGenius: Evaluación de Modelos de Lenguaje en la Comprensión, Edición y Generación de SVG

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) y los LLMs Multimodales han demostrado capacidades prometedoras para el procesamiento de gráficos vectoriales escalables (SVG), aunque los puntos de referencia existentes adolecen de una cobertura limitada del mundo real, falta de estratificación de complejidad y paradigmas de evaluación fragmentados. Presentamos SVGenius, un punto de referencia integral que comprende 2,377 consultas en tres dimensiones progresivas: comprensión, edición y generación. Construido sobre datos del mundo real de 24 dominios de aplicación con una estratificación sistemática de complejidad, SVGenius evalúa los modelos a través de 8 categorías de tareas y 18 métricas. Evaluamos 22 modelos principales que abarcan diferentes escalas, arquitecturas, paradigmas de entrenamiento y niveles de accesibilidad. Nuestro análisis revela que, aunque los modelos propietarios superan significativamente a sus contrapartes de código abierto, todos los modelos muestran una degradación sistemática del rendimiento con el aumento de la complejidad, lo que indica limitaciones fundamentales en los enfoques actuales; sin embargo, el entrenamiento mejorado con razonamiento resulta más efectivo que el simple escalado para superar estas limitaciones, aunque la transferencia de estilo sigue siendo la capacidad más desafiante en todos los tipos de modelos. SVGenius establece el primer marco de evaluación sistemática para el procesamiento de SVG, proporcionando insights cruciales para desarrollar modelos de gráficos vectoriales más capaces y avanzar en las aplicaciones de diseño gráfico automatizado. El apéndice y los materiales complementarios (incluyendo todos los datos y el código) están disponibles en https://zju-real.github.io/SVGenius.

English

Large Language Models (LLMs) and Multimodal LLMs have shown promising capabilities for SVG processing, yet existing benchmarks suffer from limited real-world coverage, lack of complexity stratification, and fragmented evaluation paradigms. We introduce SVGenius, a comprehensive benchmark comprising 2,377 queries across three progressive dimensions: understanding, editing, and generation. Built on real-world data from 24 application domains with systematic complexity stratification, SVGenius evaluates models through 8 task categories and 18 metrics. We assess 22 mainstream models spanning different scales, architectures, training paradigms, and accessibility levels. Our analysis reveals that while proprietary models significantly outperform open-source counterparts, all models exhibit systematic performance degradation with increasing complexity, indicating fundamental limitations in current approaches; however, reasoning-enhanced training proves more effective than pure scaling for overcoming these limitations, though style transfer remains the most challenging capability across all model types. SVGenius establishes the first systematic evaluation framework for SVG processing, providing crucial insights for developing more capable vector graphics models and advancing automated graphic design applications. Appendix and supplementary materials (including all data and code) are available at https://zju-real.github.io/SVGenius.

SVGenius: Evaluación de Modelos de Lenguaje en la Comprensión, Edición y Generación de SVG

SVGenius: Benchmarking LLMs in SVG Understanding, Editing and Generation

Resumen

Support