StructEval: Оценка способностей языковых моделей к генерации структурированных данных

StructEval: Benchmarking LLMs' Capabilities to Generate Structural Outputs

May 26, 2025

Авторы: Jialin Yang, Dongfu Jiang, Lipeng He, Sherman Siu, Yuxuan Zhang, Disen Liao, Zhuofeng Li, Huaye Zeng, Yiming Jia, Haozhe Wang, Benjamin Schneider, Chi Ruan, Wentao Ma, Zhiheng Lyu, Yifei Wang, Yi Lu, Quy Duc Do, Ziyan Jiang, Ping Nie, Wenhu Chen

cs.AI

Аннотация

По мере того как крупные языковые модели (LLM) становятся неотъемлемой частью рабочих процессов разработки программного обеспечения, их способность генерировать структурированные выходные данные приобретает критически важное значение. Мы представляем StructEval, комплексный бенчмарк для оценки возможностей LLM в создании как невизуализируемых (JSON, YAML, CSV), так и визуализируемых (HTML, React, SVG) структурированных форматов. В отличие от предыдущих бенчмарков, StructEval систематически оценивает структурную точность в различных форматах через две парадигмы: 1) задачи генерации, создающие структурированный вывод из текстовых запросов, и 2) задачи конвертации, преобразующие данные между структурированными форматами. Наш бенчмарк охватывает 18 форматов и 44 типа задач, включая новые метрики для оценки соответствия формату и структурной корректности. Результаты выявляют значительные пробелы в производительности: даже передовые модели, такие как o1-mini, достигают лишь среднего балла 75.58, а открытые альтернативы отстают примерно на 10 пунктов. Мы обнаружили, что задачи генерации сложнее задач конвертации, а создание корректного визуального контента труднее, чем генерация текстовых структур.

English

As Large Language Models (LLMs) become integral to software development workflows, their ability to generate structured outputs has become critically important. We introduce StructEval, a comprehensive benchmark for evaluating LLMs' capabilities in producing both non-renderable (JSON, YAML, CSV) and renderable (HTML, React, SVG) structured formats. Unlike prior benchmarks, StructEval systematically evaluates structural fidelity across diverse formats through two paradigms: 1) generation tasks, producing structured output from natural language prompts, and 2) conversion tasks, translating between structured formats. Our benchmark encompasses 18 formats and 44 types of task, with novel metrics for format adherence and structural correctness. Results reveal significant performance gaps, even state-of-the-art models like o1-mini achieve only 75.58 average score, with open-source alternatives lagging approximately 10 points behind. We find generation tasks more challenging than conversion tasks, and producing correct visual content more difficult than generating text-only structures.