OpenDevin: Een Open Platform voor AI-Softwareontwikkelaars als Generalistische Agents

OpenDevin: An Open Platform for AI Software Developers as Generalist Agents

July 23, 2024

Auteurs: Xingyao Wang, Boxuan Li, Yufan Song, Frank F. Xu, Xiangru Tang, Mingchen Zhuge, Jiayi Pan, Yueqi Song, Bowen Li, Jaskirat Singh, Hoang H. Tran, Fuqiang Li, Ren Ma, Mingzhang Zheng, Bill Qian, Yanjun Shao, Niklas Muennighoff, Yizhe Zhang, Binyuan Hui, Junyang Lin, Robert Brennan, Hao Peng, Heng Ji, Graham Neubig

cs.AI

Samenvatting

Software is een van de krachtigste gereedschappen die wij mensen tot onze beschikking hebben; het stelt een bekwame programmeur in staat om op complexe en diepgaande manieren met de wereld om te gaan. Tegelijkertijd heeft, dankzij verbeteringen in grote taalmodel(len) (LLMs), ook de ontwikkeling van AI-agents die interacteren met en verandering teweegbrengen in hun omgeving een snelle vlucht genomen. In dit artikel introduceren we OpenDevin, een platform voor de ontwikkeling van krachtige en flexibele AI-agents die op vergelijkbare manieren als een menselijke ontwikkelaar met de wereld interacteren: door code te schrijven, te werken met een commandoregel en het web te browsen. We beschrijven hoe het platform de implementatie van nieuwe agents mogelijk maakt, veilige interactie met gesandboxte omgevingen voor code-uitvoering, coördinatie tussen meerdere agents en de integratie van evaluatiebenchmarks. Op basis van de momenteel geïntegreerde benchmarks voeren we een evaluatie uit van agents over 15 uitdagende taken, waaronder software engineering (bijv. SWE-Bench) en webbrowsen (bijv. WebArena), onder andere. Uitgebracht onder de permissieve MIT-licentie, is OpenDevin een gemeenschapsproject dat zowel de academische wereld als de industrie omvat, met meer dan 1.300 bijdragen van meer dan 160 bijdragers, en zal zich in de toekomst verder verbeteren.

English

Software is one of the most powerful tools that we humans have at our disposal; it allows a skilled programmer to interact with the world in complex and profound ways. At the same time, thanks to improvements in large language models (LLMs), there has also been a rapid development in AI agents that interact with and affect change in their surrounding environments. In this paper, we introduce OpenDevin, a platform for the development of powerful and flexible AI agents that interact with the world in similar ways to those of a human developer: by writing code, interacting with a command line, and browsing the web. We describe how the platform allows for the implementation of new agents, safe interaction with sandboxed environments for code execution, coordination between multiple agents, and incorporation of evaluation benchmarks. Based on our currently incorporated benchmarks, we perform an evaluation of agents over 15 challenging tasks, including software engineering (e.g., SWE-Bench) and web browsing (e.g., WebArena), among others. Released under the permissive MIT license, OpenDevin is a community project spanning academia and industry with more than 1.3K contributions from over 160 contributors and will improve going forward.