La diversité renforce l'intelligence : Intégration de l'expertise des agents d'ingénierie logicielle

Diversity Empowers Intelligence: Integrating Expertise of Software Engineering Agents

August 13, 2024

Auteurs: Kexun Zhang, Weiran Yao, Zuxin Liu, Yihao Feng, Zhiwei Liu, Rithesh Murthy, Tian Lan, Lei Li, Renze Lou, Jiacheng Xu, Bo Pang, Yingbo Zhou, Shelby Heinecke, Silvio Savarese, Huan Wang, Caiming Xiong

cs.AI

Résumé

Les agents de grands modèles de langage (LLM) ont démontré un potentiel considérable pour résoudre des problèmes réels d'ingénierie logicielle (SWE). L'agent open-source le plus avancé en SWE peut résoudre plus de 27 % des problèmes réels sur GitHub dans SWE-Bench Lite. Cependant, ces frameworks d'agents sophistiqués présentent des forces variées, excellant dans certaines tâches tout en sous-performant dans d'autres. Pour pleinement exploiter la diversité de ces agents, nous proposons DEI (Diversity Empowered Intelligence), un framework qui tire parti de leur expertise unique. DEI fonctionne comme un méta-module au-dessus des frameworks d'agents SWE existants, gérant des collectifs d'agents pour améliorer la résolution de problèmes. Les résultats expérimentaux montrent qu'un comité d'agents guidé par DEI est capable de surpasser largement la performance du meilleur agent individuel. Par exemple, un groupe d'agents SWE open-source, avec un taux de résolution individuel maximal de 27,3 % sur SWE-Bench Lite, peut atteindre un taux de résolution de 34,3 % avec DEI, soit une amélioration de 25 %, surpassant ainsi la plupart des solutions propriétaires. Notre groupe le plus performant excelle avec un taux de résolution de 55 %, obtenant le classement le plus élevé sur SWE-Bench Lite. Nos résultats contribuent au corpus croissant de recherches sur les systèmes d'IA collaboratifs et leur potentiel à résoudre des défis complexes en ingénierie logicielle.

English

Large language model (LLM) agents have shown great potential in solving real-world software engineering (SWE) problems. The most advanced open-source SWE agent can resolve over 27% of real GitHub issues in SWE-Bench Lite. However, these sophisticated agent frameworks exhibit varying strengths, excelling in certain tasks while underperforming in others. To fully harness the diversity of these agents, we propose DEI (Diversity Empowered Intelligence), a framework that leverages their unique expertise. DEI functions as a meta-module atop existing SWE agent frameworks, managing agent collectives for enhanced problem-solving. Experimental results show that a DEI-guided committee of agents is able to surpass the best individual agent's performance by a large margin. For instance, a group of open-source SWE agents, with a maximum individual resolve rate of 27.3% on SWE-Bench Lite, can achieve a 34.3% resolve rate with DEI, making a 25% improvement and beating most closed-source solutions. Our best-performing group excels with a 55% resolve rate, securing the highest ranking on SWE-Bench Lite. Our findings contribute to the growing body of research on collaborative AI systems and their potential to solve complex software engineering challenges.