StructEval: Benchmarking der Fähigkeiten von LLMs zur Erzeugung struktureller Ausgaben

StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs

May 26, 2025

Autoren: Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu, Quy Duc Do, Ziyan Jiang, Ping Nie, Wenhu Chen

cs.AI

Zusammenfassung

Da Large Language Models (LLMs) zunehmend in Softwareentwicklungs-Workflows integriert werden, ist ihre Fähigkeit, strukturierte Ausgaben zu generieren, von entscheidender Bedeutung geworden. Wir stellen StructEval vor, einen umfassenden Benchmark zur Bewertung der Fähigkeiten von LLMs, sowohl nicht-renderbare (JSON, YAML, CSV) als auch renderbare (HTML, React, SVG) strukturierte Formate zu erzeugen. Im Gegensatz zu früheren Benchmarks bewertet StructEval systematisch die strukturelle Treue über verschiedene Formate hinweg durch zwei Paradigmen: 1) Generierungsaufgaben, bei denen strukturierte Ausgaben aus natürlichen Sprachaufforderungen erzeugt werden, und 2) Konvertierungsaufgaben, bei denen zwischen strukturierten Formaten übersetzt wird. Unser Benchmark umfasst 18 Formate und 44 Arten von Aufgaben, mit neuartigen Metriken für Formatkonformität und strukturelle Korrektheit. Die Ergebnisse zeigen erhebliche Leistungsunterschiede; selbst state-of-the-art Modelle wie o1-mini erreichen nur einen durchschnittlichen Score von 75,58, während Open-Source-Alternativen etwa 10 Punkte dahinter zurückbleiben. Wir stellen fest, dass Generierungsaufgaben schwieriger sind als Konvertierungsaufgaben und die Erstellung korrekter visueller Inhalte schwieriger ist als die Generierung von rein textbasierten Strukturen.

English

As Large Language Models (LLMs) become integral to software development workflows, their ability to generate structured outputs has become critically important. We introduce StructEval, a comprehensive benchmark for evaluating LLMs' capabilities in producing both non-renderable (JSON, YAML, CSV) and renderable (HTML, React, SVG) structured formats. Unlike prior benchmarks, StructEval systematically evaluates structural fidelity across diverse formats through two paradigms: 1) generation tasks, producing structured output from natural language prompts, and 2) conversion tasks, translating between structured formats. Our benchmark encompasses 18 formats and 44 types of task, with novel metrics for format adherence and structural correctness. Results reveal significant performance gaps, even state-of-the-art models like o1-mini achieve only 75.58 average score, with open-source alternatives lagging approximately 10 points behind. We find generation tasks more challenging than conversion tasks, and producing correct visual content more difficult than generating text-only structures.