SWE-Lancer: I modelli linguistici all'avanguardia possono guadagnare 1 milione di dollari con l'ingegneria del software freelance nel mondo reale?

SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?

February 17, 2025

Autori: Samuel Miserendino, Michele Wang, Tejal Patwardhan, Johannes Heidecke

cs.AI

Abstract

Presentiamo SWE-Lancer, un benchmark composto da oltre 1.400 attività freelance di ingegneria del software provenienti da Upwork, con un valore complessivo di 1 milione di USD in compensi reali. SWE-Lancer include sia attività di ingegneria indipendenti—che vanno dalla correzione di 50 bug all'implementazione di funzionalità da 32.000 dollari—sia attività manageriali, in cui i modelli devono scegliere tra proposte di implementazione tecnica. Le attività indipendenti vengono valutate con test end-to-end verificati tre volte da ingegneri del software esperti, mentre le decisioni manageriali vengono confrontate con le scelte dei manager di ingegneria originariamente assunti. Valutiamo le prestazioni dei modelli e riscontriamo che i modelli all'avanguardia non sono ancora in grado di risolvere la maggior parte delle attività. Per facilitare la ricerca futura, rendiamo disponibile un'immagine Docker unificata e una divisione pubblica per la valutazione, denominata SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). Mappando le prestazioni dei modelli al valore monetario, speriamo che SWE-Lancer favorisca una maggiore ricerca sull'impatto economico dello sviluppo di modelli di IA.

English

We introduce SWE-Lancer, a benchmark of over 1,400 freelance software engineering tasks from Upwork, valued at \1 million USD total in real-world payouts. SWE-Lancer encompasses both independent engineering tasks--ranging from 50 bug fixes to \$32,000 feature implementations--and managerial tasks, where models choose between technical implementation proposals. Independent tasks are graded with end-to-end tests triple-verified by experienced software engineers, while managerial decisions are assessed against the choices of the original hired engineering managers. We evaluate model performance and find that frontier models are still unable to solve the majority of tasks. To facilitate future research, we open-source a unified Docker image and a public evaluation split, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). By mapping model performance to monetary value, we hope SWE-Lancer enables greater research into the economic impact of AI model development.