DrafterBench: Benchmarking dei Modelli Linguistici di Grandi Dimensioni per l'Automazione dei Compiti nell'Ingegneria Civile

DrafterBench: Benchmarking Large Language Models for Tasks Automation in Civil Engineering

July 15, 2025

Autori: Yinsheng Li, Zhen Dong, Yi Shao

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato un grande potenziale nel risolvere problemi del mondo reale e promettono di essere una soluzione per l'automazione dei compiti nell'industria. Tuttavia, sono necessari ulteriori benchmark per valutare sistematicamente gli agenti di automazione da una prospettiva industriale, ad esempio nell'ingegneria civile. Pertanto, proponiamo DrafterBench per la valutazione completa degli agenti LLM nel contesto della revisione di disegni tecnici, un compito di rappresentazione nell'ingegneria civile. DrafterBench contiene dodici tipi di compiti riassunti da file di disegno reali, con 46 funzioni/strumenti personalizzati e un totale di 1920 compiti. DrafterBench è un benchmark open-source progettato per testare rigorosamente la competenza degli agenti AI nell'interpretare istruzioni complesse e a lungo contesto, sfruttare conoscenze pregresse e adattarsi alla qualità dinamica delle istruzioni attraverso una consapevolezza implicita delle politiche. Il toolkit valuta in modo completo diverse capacità nella comprensione di dati strutturati, esecuzione di funzioni, seguire istruzioni e ragionamento critico. DrafterBench offre un'analisi dettagliata dell'accuratezza dei compiti e delle statistiche degli errori, con l'obiettivo di fornire una visione più approfondita delle capacità degli agenti e identificare obiettivi di miglioramento per l'integrazione degli LLM nelle applicazioni ingegneristiche. Il nostro benchmark è disponibile all'indirizzo https://github.com/Eason-Li-AIS/DrafterBench, con il set di test ospitato su https://huggingface.co/datasets/Eason666/DrafterBench.

English

Large Language Model (LLM) agents have shown great potential for solving real-world problems and promise to be a solution for tasks automation in industry. However, more benchmarks are needed to systematically evaluate automation agents from an industrial perspective, for example, in Civil Engineering. Therefore, we propose DrafterBench for the comprehensive evaluation of LLM agents in the context of technical drawing revision, a representation task in civil engineering. DrafterBench contains twelve types of tasks summarized from real-world drawing files, with 46 customized functions/tools and 1920 tasks in total. DrafterBench is an open-source benchmark to rigorously test AI agents' proficiency in interpreting intricate and long-context instructions, leveraging prior knowledge, and adapting to dynamic instruction quality via implicit policy awareness. The toolkit comprehensively assesses distinct capabilities in structured data comprehension, function execution, instruction following, and critical reasoning. DrafterBench offers detailed analysis of task accuracy and error statistics, aiming to provide deeper insight into agent capabilities and identify improvement targets for integrating LLMs in engineering applications. Our benchmark is available at https://github.com/Eason-Li-AIS/DrafterBench, with the test set hosted at https://huggingface.co/datasets/Eason666/DrafterBench.