DrafterBench : Évaluation des modèles de langage de grande taille pour l'automatisation des tâches en génie civil

DrafterBench: Benchmarking Large Language Models for Tasks Automation in Civil Engineering

July 15, 2025

papers.authors: Yinsheng Li, Zhen Dong, Yi Shao

cs.AI

papers.abstract

Les agents de modèles de langage de grande taille (LLM) ont démontré un grand potentiel pour résoudre des problèmes du monde réel et promettent d'être une solution pour l'automatisation des tâches dans l'industrie. Cependant, davantage de benchmarks sont nécessaires pour évaluer systématiquement les agents d'automatisation d'un point de vue industriel, par exemple dans le génie civil. Par conséquent, nous proposons DrafterBench pour l'évaluation complète des agents LLM dans le contexte de la révision de dessins techniques, une tâche de représentation en génie civil. DrafterBench contient douze types de tâches résumées à partir de fichiers de dessins réels, avec 46 fonctions/outils personnalisés et 1920 tâches au total. DrafterBench est un benchmark open-source conçu pour tester rigoureusement la compétence des agents IA dans l'interprétation d'instructions complexes et à long contexte, l'exploitation de connaissances antérieures et l'adaptation à la qualité dynamique des instructions via une conscience implicite des politiques. Le toolkit évalue de manière exhaustive des capacités distinctes dans la compréhension de données structurées, l'exécution de fonctions, le suivi d'instructions et le raisonnement critique. DrafterBench offre une analyse détaillée de la précision des tâches et des statistiques d'erreurs, visant à fournir une compréhension plus approfondie des capacités des agents et à identifier des cibles d'amélioration pour l'intégration des LLM dans les applications d'ingénierie. Notre benchmark est disponible à l'adresse https://github.com/Eason-Li-AIS/DrafterBench, avec l'ensemble de tests hébergé à l'adresse https://huggingface.co/datasets/Eason666/DrafterBench.

English

Large Language Model (LLM) agents have shown great potential for solving real-world problems and promise to be a solution for tasks automation in industry. However, more benchmarks are needed to systematically evaluate automation agents from an industrial perspective, for example, in Civil Engineering. Therefore, we propose DrafterBench for the comprehensive evaluation of LLM agents in the context of technical drawing revision, a representation task in civil engineering. DrafterBench contains twelve types of tasks summarized from real-world drawing files, with 46 customized functions/tools and 1920 tasks in total. DrafterBench is an open-source benchmark to rigorously test AI agents' proficiency in interpreting intricate and long-context instructions, leveraging prior knowledge, and adapting to dynamic instruction quality via implicit policy awareness. The toolkit comprehensively assesses distinct capabilities in structured data comprehension, function execution, instruction following, and critical reasoning. DrafterBench offers detailed analysis of task accuracy and error statistics, aiming to provide deeper insight into agent capabilities and identify improvement targets for integrating LLMs in engineering applications. Our benchmark is available at https://github.com/Eason-Li-AIS/DrafterBench, with the test set hosted at https://huggingface.co/datasets/Eason666/DrafterBench.