StructEval : Évaluation des capacités des LLM à générer des sorties structurelles

StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs

May 26, 2025

Auteurs: Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu, Quy Duc Do, Ziyan Jiang, Ping Nie, Wenhu Chen

cs.AI

Résumé

Alors que les modèles de langage de grande taille (LLMs) deviennent essentiels dans les flux de travail de développement logiciel, leur capacité à générer des sorties structurées est devenue cruciale. Nous présentons StructEval, un benchmark complet pour évaluer les capacités des LLMs à produire des formats structurés non rendus (JSON, YAML, CSV) et rendus (HTML, React, SVG). Contrairement aux benchmarks précédents, StructEval évalue systématiquement la fidélité structurelle à travers divers formats selon deux paradigmes : 1) les tâches de génération, produisant des sorties structurées à partir de prompts en langage naturel, et 2) les tâches de conversion, traduisant entre des formats structurés. Notre benchmark couvre 18 formats et 44 types de tâches, avec des métriques novatrices pour l'adhésion au format et la correction structurelle. Les résultats révèlent des écarts de performance significatifs, même les modèles de pointe comme o1-mini n'atteignent qu'un score moyen de 75,58, tandis que les alternatives open source accusent un retard d'environ 10 points. Nous constatons que les tâches de génération sont plus difficiles que les tâches de conversion, et que produire un contenu visuel correct est plus complexe que générer des structures textuelles uniquement.

English

As Large Language Models (LLMs) become integral to software development workflows, their ability to generate structured outputs has become critically important. We introduce StructEval, a comprehensive benchmark for evaluating LLMs' capabilities in producing both non-renderable (JSON, YAML, CSV) and renderable (HTML, React, SVG) structured formats. Unlike prior benchmarks, StructEval systematically evaluates structural fidelity across diverse formats through two paradigms: 1) generation tasks, producing structured output from natural language prompts, and 2) conversion tasks, translating between structured formats. Our benchmark encompasses 18 formats and 44 types of task, with novel metrics for format adherence and structural correctness. Results reveal significant performance gaps, even state-of-the-art models like o1-mini achieve only 75.58 average score, with open-source alternatives lagging approximately 10 points behind. We find generation tasks more challenging than conversion tasks, and producing correct visual content more difficult than generating text-only structures.