BuildBench: Evaluación de Agentes de LLM en la Compilación de Software de Código Abierto del Mundo Real

BuildBench: Benchmarking LLM Agents on Compiling Real-World Open-Source Software

September 27, 2025

Autores: Zehua Zhang, Ati Priya Bajaj, Divij Handa, Siyu Liu, Arvind S Raj, Hongkai Chen, Hulin Wang, Yibo Liu, Zion Leonahenahe Basque, Souradip Nath, Vishal Juneja, Nikhil Chapre, Yan Shoshitaishvili, Adam Doupé, Chitta Baral, Ruoyu Wang

cs.AI

Resumen

La compilación automática de proyectos de software de código abierto (OSS) es una tarea vital, intensiva en mano de obra y compleja, lo que la convierte en un desafío adecuado para los agentes basados en modelos de lenguaje grandes (LLM). Los métodos existentes dependen de reglas y flujos de trabajo curados manualmente, que no pueden adaptarse a OSS que requieren configuraciones personalizadas o preparación de entornos específicos. Intentos recientes que utilizan modelos de lenguaje grandes (LLM) se basaron en evaluaciones selectivas de un subconjunto de OSS altamente calificados, una práctica que subestima los desafíos realistas de la compilación de OSS. En la práctica, las instrucciones de compilación a menudo están ausentes, las dependencias no están documentadas, y las compilaciones exitosas pueden incluso requerir la modificación de archivos fuente o la alteración de scripts de compilación. Proponemos un punto de referencia más desafiante y realista, BUILD-BENCH, que comprende OSS más diversos en calidad, escala y características. Además, proponemos un agente basado en LLM como línea de base sólida, OSS-BUILD-AGENT, un sistema efectivo con un módulo mejorado de recuperación de instrucciones de compilación que logra un rendimiento de vanguardia en BUILD-BENCH y es adaptable a las características heterogéneas de OSS. También proporcionamos un análisis detallado sobre las diferentes opciones de diseño de métodos de compilación y su influencia en la tarea completa, ofreciendo ideas para guiar avances futuros. Creemos que el rendimiento en BUILD-BENCH puede reflejar fielmente la capacidad de un agente para abordar la compilación como una tarea compleja de ingeniería de software y, como tal, nuestro punto de referencia impulsará la innovación con un impacto significativo en aplicaciones posteriores en los campos del desarrollo de software y la seguridad del software.

English

Automatically compiling open-source software (OSS) projects is a vital, labor-intensive, and complex task, which makes it a good challenge for LLM Agents. Existing methods rely on manually curated rules and workflows, which cannot adapt to OSS that requires customized configuration or environment setup. Recent attempts using Large Language Models (LLMs) used selective evaluation on a subset of highly rated OSS, a practice that underestimates the realistic challenges of OSS compilation. In practice, compilation instructions are often absent, dependencies are undocumented, and successful builds may even require patching source files or modifying build scripts. We propose a more challenging and realistic benchmark, BUILD-BENCH, comprising OSS that are more diverse in quality, scale, and characteristics. Furthermore, we propose a strong baseline LLM-based agent, OSS-BUILD-AGENT, an effective system with enhanced build instruction retrieval module that achieves state-of-the-art performance on BUILD-BENCH and is adaptable to heterogeneous OSS characteristics. We also provide detailed analysis regarding different compilation method design choices and their influence to the whole task, offering insights to guide future advances. We believe performance on BUILD-BENCH can faithfully reflect an agent's ability to tackle compilation as a complex software engineering tasks, and, as such, our benchmark will spur innovation with a significant impact on downstream applications in the fields of software development and software security.