StructEval: Benchmarking van de mogelijkheden van LLM's om structurele uitvoer te genereren

StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs

May 26, 2025

Auteurs: Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu, Quy Duc Do, Ziyan Jiang, Ping Nie, Wenhu Chen

cs.AI

Samenvatting

Naarmate Large Language Models (LLM's) een integraal onderdeel worden van softwareontwikkelingsworkflows, is hun vermogen om gestructureerde outputs te genereren van cruciaal belang geworden. Wij introduceren StructEval, een uitgebreide benchmark voor het evalueren van de capaciteiten van LLM's in het produceren van zowel niet-renderbare (JSON, YAML, CSV) als renderbare (HTML, React, SVG) gestructureerde formaten. In tegenstelling tot eerdere benchmarks, evalueert StructEval systematisch de structurele betrouwbaarheid over diverse formaten via twee paradigma's: 1) generatietaken, waarbij gestructureerde output wordt geproduceerd vanuit natuurlijke taalprompts, en 2) conversietaken, waarbij tussen gestructureerde formaten wordt vertaald. Onze benchmark omvat 18 formaten en 44 soorten taken, met nieuwe metrieken voor formaatnaleving en structurele correctheid. Resultaten tonen significante prestatiekloofjes, waarbij zelfs state-of-the-art modellen zoals o1-mini slechts een gemiddelde score van 75,58 behalen, met open-source alternatieven die ongeveer 10 punten achterblijven. Wij constateren dat generatietaken uitdagender zijn dan conversietaken, en dat het produceren van correcte visuele inhoud moeilijker is dan het genereren van tekstuele structuren.

English

As Large Language Models (LLMs) become integral to software development workflows, their ability to generate structured outputs has become critically important. We introduce StructEval, a comprehensive benchmark for evaluating LLMs' capabilities in producing both non-renderable (JSON, YAML, CSV) and renderable (HTML, React, SVG) structured formats. Unlike prior benchmarks, StructEval systematically evaluates structural fidelity across diverse formats through two paradigms: 1) generation tasks, producing structured output from natural language prompts, and 2) conversion tasks, translating between structured formats. Our benchmark encompasses 18 formats and 44 types of task, with novel metrics for format adherence and structural correctness. Results reveal significant performance gaps, even state-of-the-art models like o1-mini achieve only 75.58 average score, with open-source alternatives lagging approximately 10 points behind. We find generation tasks more challenging than conversion tasks, and producing correct visual content more difficult than generating text-only structures.