Vielfalt stärkt Intelligenz: Integration der Expertise von Software-Engineering-Agenten

Diversity Empowers Intelligence: Integrating Expertise of Software Engineering Agents

August 13, 2024

Autoren: Kexun Zhang, Weiran Yao, Zuxin Liu, Yihao Feng, Zhiwei Liu, Rithesh Murthy, Tian Lan, Lei Li, Renze Lou, Jiacheng Xu, Bo Pang, Yingbo Zhou, Shelby Heinecke, Silvio Savarese, Huan Wang, Caiming Xiong

cs.AI

Zusammenfassung

Große Sprachmodell (LLM) Agenten haben ein großes Potenzial gezeigt, um reale Softwaretechnik (SWE) Probleme zu lösen. Der fortschrittlichste Open-Source SWE Agent kann über 27% der realen GitHub Probleme in SWE-Bench Lite lösen. Allerdings zeigen diese ausgeklügelten Agenten-Frameworks unterschiedliche Stärken, indem sie in bestimmten Aufgaben herausragend sind, während sie in anderen unterdurchschnittlich abschneiden. Um die Vielfalt dieser Agenten voll auszuschöpfen, schlagen wir DEI (Diversity Empowered Intelligence) vor, ein Framework, das ihre einzigartige Expertise nutzt. DEI fungiert als Meta-Modul über bestehenden SWE Agenten-Frameworks, um Agentenkollektive für eine verbesserte Problemlösung zu verwalten. Experimentelle Ergebnisse zeigen, dass ein von DEI geleitetes Gremium von Agenten die Leistung des besten einzelnen Agenten deutlich übertreffen kann. Beispielsweise kann eine Gruppe von Open-Source SWE Agenten, die eine maximale individuelle Lösungsrate von 27,3% in SWE-Bench Lite aufweisen, mit DEI eine Lösungsrate von 34,3% erreichen, was eine Verbesserung von 25% darstellt und die meisten Closed-Source Lösungen übertrifft. Unsere bestleistende Gruppe zeichnet sich durch eine Lösungsrate von 55% aus und sichert sich den höchsten Rang in SWE-Bench Lite. Unsere Ergebnisse tragen zum wachsenden Forschungskorpus über kollaborative KI-Systeme und deren Potenzial zur Lösung komplexer Softwaretechnik-Herausforderungen bei.

English

Large language model (LLM) agents have shown great potential in solving real-world software engineering (SWE) problems. The most advanced open-source SWE agent can resolve over 27% of real GitHub issues in SWE-Bench Lite. However, these sophisticated agent frameworks exhibit varying strengths, excelling in certain tasks while underperforming in others. To fully harness the diversity of these agents, we propose DEI (Diversity Empowered Intelligence), a framework that leverages their unique expertise. DEI functions as a meta-module atop existing SWE agent frameworks, managing agent collectives for enhanced problem-solving. Experimental results show that a DEI-guided committee of agents is able to surpass the best individual agent's performance by a large margin. For instance, a group of open-source SWE agents, with a maximum individual resolve rate of 27.3% on SWE-Bench Lite, can achieve a 34.3% resolve rate with DEI, making a 25% improvement and beating most closed-source solutions. Our best-performing group excels with a 55% resolve rate, securing the highest ranking on SWE-Bench Lite. Our findings contribute to the growing body of research on collaborative AI systems and their potential to solve complex software engineering challenges.