BuildBench: Valutazione degli Agenti LLM nella Compilazione di Software Open-Source del Mondo Reale

BuildBench: Benchmarking LLM Agents on Compiling Real-World Open-Source Software

September 27, 2025

Autori: Zehua Zhang, Ati Priya Bajaj, Divij Handa, Siyu Liu, Arvind S Raj, Hongkai Chen, Hulin Wang, Yibo Liu, Zion Leonahenahe Basque, Souradip Nath, Vishal Juneja, Nikhil Chapre, Yan Shoshitaishvili, Adam Doupé, Chitta Baral, Ruoyu Wang

cs.AI

Abstract

La compilazione automatica di progetti software open-source (OSS) è un'attività cruciale, laboriosa e complessa, che la rende una sfida ideale per gli agenti basati su LLM (Large Language Models). I metodi esistenti si basano su regole e flussi di lavoro curati manualmente, che non possono adattarsi a OSS che richiedono configurazioni personalizzate o setup ambientali specifici. Tentativi recenti che utilizzano modelli linguistici di grandi dimensioni (LLM) hanno adottato una valutazione selettiva su un sottoinsieme di OSS altamente valutati, una pratica che sottostima le sfide realistiche della compilazione di OSS. Nella pratica, le istruzioni di compilazione sono spesso assenti, le dipendenze non sono documentate e build di successo possono persino richiedere la modifica di file sorgente o script di compilazione. Proponiamo un benchmark più impegnativo e realistico, BUILD-BENCH, che comprende OSS più diversificati in termini di qualità, scala e caratteristiche. Inoltre, proponiamo un solido agente basato su LLM, OSS-BUILD-AGENT, un sistema efficace con un modulo potenziato per il recupero delle istruzioni di compilazione, che raggiunge prestazioni all'avanguardia su BUILD-BENCH ed è adattabile a caratteristiche eterogenee degli OSS. Forniamo anche un'analisi dettagliata riguardo alle diverse scelte progettuali dei metodi di compilazione e alla loro influenza sull'intero compito, offrendo spunti per guidare i progressi futuri. Crediamo che le prestazioni su BUILD-BENCH possano riflettere fedelmente la capacità di un agente di affrontare la compilazione come un complesso compito di ingegneria del software e, in quanto tale, il nostro benchmark stimolerà l'innovazione con un impatto significativo sulle applicazioni downstream nei campi dello sviluppo software e della sicurezza del software.

English

Automatically compiling open-source software (OSS) projects is a vital, labor-intensive, and complex task, which makes it a good challenge for LLM Agents. Existing methods rely on manually curated rules and workflows, which cannot adapt to OSS that requires customized configuration or environment setup. Recent attempts using Large Language Models (LLMs) used selective evaluation on a subset of highly rated OSS, a practice that underestimates the realistic challenges of OSS compilation. In practice, compilation instructions are often absent, dependencies are undocumented, and successful builds may even require patching source files or modifying build scripts. We propose a more challenging and realistic benchmark, BUILD-BENCH, comprising OSS that are more diverse in quality, scale, and characteristics. Furthermore, we propose a strong baseline LLM-based agent, OSS-BUILD-AGENT, an effective system with enhanced build instruction retrieval module that achieves state-of-the-art performance on BUILD-BENCH and is adaptable to heterogeneous OSS characteristics. We also provide detailed analysis regarding different compilation method design choices and their influence to the whole task, offering insights to guide future advances. We believe performance on BUILD-BENCH can faithfully reflect an agent's ability to tackle compilation as a complex software engineering tasks, and, as such, our benchmark will spur innovation with a significant impact on downstream applications in the fields of software development and software security.