SWE-Lancer: Können Frontier LLMs 1 Million US-Dollar durch freiberufliche Softwaretechnik in der realen Welt verdienen?

SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?

February 17, 2025

Autoren: Samuel Miserendino, Michele Wang, Tejal Patwardhan, Johannes Heidecke

cs.AI

Zusammenfassung

Wir stellen SWE-Lancer vor, einen Benchmark von über 1.400 freiberuflichen Softwareentwicklungsaufgaben von Upwork im Wert von insgesamt über 1 Million US-Dollar an tatsächlichen Auszahlungen. SWE-Lancer umfasst sowohl unabhängige Engineering-Aufgaben - von 50 Fehlerbehebungen bis zu 32.000 US-Dollar teuren Funktionsimplementierungen - als auch Manageraufgaben, bei denen Modelle zwischen technischen Implementierungsvorschlägen wählen. Unabhängige Aufgaben werden anhand von End-to-End-Tests bewertet, die von erfahrenen Softwareingenieuren dreifach überprüft wurden, während Managerentscheidungen anhand der Entscheidungen der ursprünglich eingestellten Engineering-Manager bewertet werden. Wir bewerten die Leistung der Modelle und stellen fest, dass führende Modelle immer noch nicht in der Lage sind, die Mehrheit der Aufgaben zu lösen. Um zukünftige Forschung zu erleichtern, veröffentlichen wir ein vereinheitlichtes Docker-Image und einen öffentlichen Bewertungssplit, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). Indem wir die Leistung der Modelle auf den monetären Wert abbilden, hoffen wir, dass SWE-Lancer eine umfassendere Erforschung der wirtschaftlichen Auswirkungen der KI-Modellentwicklung ermöglicht.

English

We introduce SWE-Lancer, a benchmark of over 1,400 freelance software engineering tasks from Upwork, valued at \1 million USD total in real-world payouts. SWE-Lancer encompasses both independent engineering tasks--ranging from 50 bug fixes to \$32,000 feature implementations--and managerial tasks, where models choose between technical implementation proposals. Independent tasks are graded with end-to-end tests triple-verified by experienced software engineers, while managerial decisions are assessed against the choices of the original hired engineering managers. We evaluate model performance and find that frontier models are still unable to solve the majority of tasks. To facilitate future research, we open-source a unified Docker image and a public evaluation split, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). By mapping model performance to monetary value, we hope SWE-Lancer enables greater research into the economic impact of AI model development.