BuildBench: Оценка агентов на основе больших языковых моделей в компиляции реального открытого программного обеспечения

BuildBench: Benchmarking LLM Agents on Compiling Real-World Open-Source Software

September 27, 2025

Авторы: Zehua Zhang, Ati Priya Bajaj, Divij Handa, Siyu Liu, Arvind S Raj, Hongkai Chen, Hulin Wang, Yibo Liu, Zion Leonahenahe Basque, Souradip Nath, Vishal Juneja, Nikhil Chapre, Yan Shoshitaishvili, Adam Doupé, Chitta Baral, Ruoyu Wang

cs.AI

Аннотация

Автоматическая компиляция проектов с открытым исходным кодом (OSS) является важной, трудоемкой и сложной задачей, что делает её отличным вызовом для агентов на основе больших языковых моделей (LLM). Существующие методы полагаются на вручную составленные правила и рабочие процессы, которые не могут адаптироваться к OSS, требующим индивидуальной настройки или подготовки окружения. Недавние попытки использования больших языковых моделей (LLM) основывались на выборочной оценке подмножества высоко оцененных OSS, что недооценивает реальные сложности компиляции OSS. На практике инструкции по компиляции часто отсутствуют, зависимости не документированы, а успешная сборка может даже требовать исправления исходных файлов или изменения скриптов сборки. Мы предлагаем более сложный и реалистичный бенчмарк, BUILD-BENCH, включающий OSS, которые более разнообразны по качеству, масштабу и характеристикам. Кроме того, мы предлагаем сильный базовый агент на основе LLM, OSS-BUILD-AGENT, эффективную систему с улучшенным модулем извлечения инструкций по сборке, которая демонстрирует передовые результаты на BUILD-BENCH и адаптируется к разнородным характеристикам OSS. Мы также предоставляем детальный анализ различных вариантов проектирования методов компиляции и их влияния на всю задачу, предлагая идеи для руководства будущими достижениями. Мы считаем, что производительность на BUILD-BENCH может достоверно отражать способность агента справляться с компиляцией как сложной задачей программной инженерии, и, таким образом, наш бенчмарк будет стимулировать инновации, оказывая значительное влияние на последующие приложения в областях разработки программного обеспечения и безопасности программного обеспечения.

English

Automatically compiling open-source software (OSS) projects is a vital, labor-intensive, and complex task, which makes it a good challenge for LLM Agents. Existing methods rely on manually curated rules and workflows, which cannot adapt to OSS that requires customized configuration or environment setup. Recent attempts using Large Language Models (LLMs) used selective evaluation on a subset of highly rated OSS, a practice that underestimates the realistic challenges of OSS compilation. In practice, compilation instructions are often absent, dependencies are undocumented, and successful builds may even require patching source files or modifying build scripts. We propose a more challenging and realistic benchmark, BUILD-BENCH, comprising OSS that are more diverse in quality, scale, and characteristics. Furthermore, we propose a strong baseline LLM-based agent, OSS-BUILD-AGENT, an effective system with enhanced build instruction retrieval module that achieves state-of-the-art performance on BUILD-BENCH and is adaptable to heterogeneous OSS characteristics. We also provide detailed analysis regarding different compilation method design choices and their influence to the whole task, offering insights to guide future advances. We believe performance on BUILD-BENCH can faithfully reflect an agent's ability to tackle compilation as a complex software engineering tasks, and, as such, our benchmark will spur innovation with a significant impact on downstream applications in the fields of software development and software security.