BuildBench: Benchmarking von LLM-Agenten bei der Kompilierung realer Open-Source-Software

BuildBench: Benchmarking LLM Agents on Compiling Real-World Open-Source Software

September 27, 2025

papers.authors: Zehua Zhang, Ati Priya Bajaj, Divij Handa, Siyu Liu, Arvind S Raj, Hongkai Chen, Hulin Wang, Yibo Liu, Zion Leonahenahe Basque, Souradip Nath, Vishal Juneja, Nikhil Chapre, Yan Shoshitaishvili, Adam Doupé, Chitta Baral, Ruoyu Wang

cs.AI

papers.abstract

Das automatische Kompilieren von Open-Source-Software (OSS)-Projekten ist eine wesentliche, arbeitsintensive und komplexe Aufgabe, die sie zu einer geeigneten Herausforderung für LLM-Agenten macht. Bestehende Methoden stützen sich auf manuell erstellte Regeln und Workflows, die sich nicht an OSS anpassen können, die eine angepasste Konfiguration oder Umgebungseinrichtung erfordern. Neuere Versuche mit Large Language Models (LLMs) nutzten eine selektive Bewertung einer Teilmenge hoch bewerteter OSS, eine Praxis, die die realistischen Herausforderungen der OSS-Kompilation unterschätzt. In der Praxis sind Kompilierungsanweisungen oft nicht vorhanden, Abhängigkeiten sind undokumentiert, und erfolgreiche Builds erfordern möglicherweise sogar das Patchen von Quelldateien oder das Modifizieren von Build-Skripten. Wir schlagen einen anspruchsvolleren und realistischeren Benchmark vor, BUILD-BENCH, der OSS umfasst, die in Qualität, Umfang und Eigenschaften vielfältiger sind. Darüber hinaus schlagen wir einen starken LLM-basierten Basisansatz vor, OSS-BUILD-AGENT, ein effektives System mit einem verbesserten Modul zur Abrufung von Build-Anweisungen, das state-of-the-art Leistung auf BUILD-BENCH erreicht und an heterogene OSS-Eigenschaften anpassbar ist. Wir bieten auch eine detaillierte Analyse verschiedener Designentscheidungen für Kompilierungsmethoden und deren Einfluss auf die Gesamtaufgabe, um Einblicke zu geben, die zukünftige Fortschritte leiten können. Wir glauben, dass die Leistung auf BUILD-BENCH die Fähigkeit eines Agenten, die Kompilation als komplexe Softwareentwicklungsaufgabe zu bewältigen, treu widerspiegeln kann, und dass unser Benchmark Innovationen anregen wird, die erhebliche Auswirkungen auf nachgelagerte Anwendungen in den Bereichen Softwareentwicklung und Softwaresicherheit haben werden.

English

Automatically compiling open-source software (OSS) projects is a vital, labor-intensive, and complex task, which makes it a good challenge for LLM Agents. Existing methods rely on manually curated rules and workflows, which cannot adapt to OSS that requires customized configuration or environment setup. Recent attempts using Large Language Models (LLMs) used selective evaluation on a subset of highly rated OSS, a practice that underestimates the realistic challenges of OSS compilation. In practice, compilation instructions are often absent, dependencies are undocumented, and successful builds may even require patching source files or modifying build scripts. We propose a more challenging and realistic benchmark, BUILD-BENCH, comprising OSS that are more diverse in quality, scale, and characteristics. Furthermore, we propose a strong baseline LLM-based agent, OSS-BUILD-AGENT, an effective system with enhanced build instruction retrieval module that achieves state-of-the-art performance on BUILD-BENCH and is adaptable to heterogeneous OSS characteristics. We also provide detailed analysis regarding different compilation method design choices and their influence to the whole task, offering insights to guide future advances. We believe performance on BUILD-BENCH can faithfully reflect an agent's ability to tackle compilation as a complex software engineering tasks, and, as such, our benchmark will spur innovation with a significant impact on downstream applications in the fields of software development and software security.