StructEval: Avaliando as Capacidades de LLMs para Gerar Saídas Estruturais
StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs
May 26, 2025
Autores: Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu, Quy Duc Do, Ziyan Jiang, Ping Nie, Wenhu Chen
cs.AI
Resumo
À medida que os Modelos de Linguagem de Grande Escala (LLMs) se tornam essenciais nos fluxos de trabalho de desenvolvimento de software, sua capacidade de gerar saídas estruturadas tornou-se criticamente importante. Apresentamos o StructEval, um benchmark abrangente para avaliar as capacidades dos LLMs na produção de formatos estruturados não renderizáveis (JSON, YAML, CSV) e renderizáveis (HTML, React, SVG). Diferente de benchmarks anteriores, o StructEval avalia sistematicamente a fidelidade estrutural em diversos formatos por meio de dois paradigmas: 1) tarefas de geração, que produzem saídas estruturadas a partir de prompts em linguagem natural, e 2) tarefas de conversão, que traduzem entre formatos estruturados. Nosso benchmark abrange 18 formatos e 44 tipos de tarefas, com métricas inovadoras para aderência ao formato e correção estrutural. Os resultados revelam lacunas significativas de desempenho, onde até mesmo modelos de última geração, como o o1-mini, atingem apenas uma pontuação média de 75,58, com alternativas de código aberto ficando aproximadamente 10 pontos atrás. Descobrimos que as tarefas de geração são mais desafiadoras do que as de conversão, e que produzir conteúdo visual correto é mais difícil do que gerar estruturas apenas de texto.
English
As Large Language Models (LLMs) become integral to software development
workflows, their ability to generate structured outputs has become critically
important. We introduce StructEval, a comprehensive benchmark for evaluating
LLMs' capabilities in producing both non-renderable (JSON, YAML, CSV) and
renderable (HTML, React, SVG) structured formats. Unlike prior benchmarks,
StructEval systematically evaluates structural fidelity across diverse formats
through two paradigms: 1) generation tasks, producing structured output from
natural language prompts, and 2) conversion tasks, translating between
structured formats. Our benchmark encompasses 18 formats and 44 types of task,
with novel metrics for format adherence and structural correctness. Results
reveal significant performance gaps, even state-of-the-art models like o1-mini
achieve only 75.58 average score, with open-source alternatives lagging
approximately 10 points behind. We find generation tasks more challenging than
conversion tasks, and producing correct visual content more difficult than
generating text-only structures.