StructEval: Evaluación de las Capacidades de los Modelos de Lenguaje para Generar Salidas Estructurales

StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs

May 26, 2025

Autores: Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu, Quy Duc Do, Ziyan Jiang, Ping Nie, Wenhu Chen

cs.AI

Resumen

A medida que los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) se integran en los flujos de trabajo de desarrollo de software, su capacidad para generar salidas estructuradas se ha vuelto de crítica importancia. Presentamos StructEval, un punto de referencia integral para evaluar las capacidades de los LLMs en la producción de formatos estructurados tanto no renderizables (JSON, YAML, CSV) como renderizables (HTML, React, SVG). A diferencia de puntos de referencia anteriores, StructEval evalúa sistemáticamente la fidelidad estructural en diversos formatos a través de dos paradigmas: 1) tareas de generación, que producen salidas estructuradas a partir de instrucciones en lenguaje natural, y 2) tareas de conversión, que traducen entre formatos estructurados. Nuestro punto de referencia abarca 18 formatos y 44 tipos de tareas, con métricas novedosas para la adherencia al formato y la corrección estructural. Los resultados revelan brechas significativas en el rendimiento; incluso modelos de última generación como o1-mini alcanzan solo un puntaje promedio de 75.58, con alternativas de código abierto quedando aproximadamente 10 puntos por detrás. Encontramos que las tareas de generación son más desafiantes que las de conversión, y que producir contenido visual correcto es más difícil que generar estructuras únicamente de texto.

English

As Large Language Models (LLMs) become integral to software development workflows, their ability to generate structured outputs has become critically important. We introduce StructEval, a comprehensive benchmark for evaluating LLMs' capabilities in producing both non-renderable (JSON, YAML, CSV) and renderable (HTML, React, SVG) structured formats. Unlike prior benchmarks, StructEval systematically evaluates structural fidelity across diverse formats through two paradigms: 1) generation tasks, producing structured output from natural language prompts, and 2) conversion tasks, translating between structured formats. Our benchmark encompasses 18 formats and 44 types of task, with novel metrics for format adherence and structural correctness. Results reveal significant performance gaps, even state-of-the-art models like o1-mini achieve only 75.58 average score, with open-source alternatives lagging approximately 10 points behind. We find generation tasks more challenging than conversion tasks, and producing correct visual content more difficult than generating text-only structures.