SWE-Lancer: Kunnen Frontier LLM's $1 miljoen verdienen met freelance software engineering in de echte wereld?

SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?

February 17, 2025

Auteurs: Samuel Miserendino, Michele Wang, Tejal Patwardhan, Johannes Heidecke

cs.AI

Samenvatting

We introduceren SWE-Lancer, een benchmark van meer dan 1.400 freelance software engineering taken van Upwork, met een totale waarde van meer dan 1 miljoen USD aan daadwerkelijke uitbetalingen. SWE-Lancer omvat zowel onafhankelijke engineering taken - variërend van 50 bug fixes tot $32.000 feature implementaties - als managementtaken, waar modellen kiezen tussen technische implementatievoorstellen. Onafhankelijke taken worden beoordeeld met end-to-end tests die drievoudig geverifieerd zijn door ervaren software engineers, terwijl managementbeslissingen worden beoordeeld aan de hand van de keuzes van de oorspronkelijk ingehuurde engineering managers. We evalueren de prestaties van modellen en constateren dat geavanceerde modellen nog steeds niet in staat zijn om de meerderheid van de taken op te lossen. Om toekomstig onderzoek te vergemakkelijken, stellen we een uniforme Docker-image en een openbare evaluatieset open-source beschikbaar, genaamd SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). Door de prestaties van modellen te koppelen aan monetaire waarde, hopen we dat SWE-Lancer meer onderzoek mogelijk maakt naar de economische impact van de ontwikkeling van AI-modellen.

English

We introduce SWE-Lancer, a benchmark of over 1,400 freelance software engineering tasks from Upwork, valued at \1 million USD total in real-world payouts. SWE-Lancer encompasses both independent engineering tasks--ranging from 50 bug fixes to \$32,000 feature implementations--and managerial tasks, where models choose between technical implementation proposals. Independent tasks are graded with end-to-end tests triple-verified by experienced software engineers, while managerial decisions are assessed against the choices of the original hired engineering managers. We evaluate model performance and find that frontier models are still unable to solve the majority of tasks. To facilitate future research, we open-source a unified Docker image and a public evaluation split, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). By mapping model performance to monetary value, we hope SWE-Lancer enables greater research into the economic impact of AI model development.