SWE-Lancer: Modelos de Linguagem de Fronteira Podem Ganhar $1 Milhão com Engenharia de Software Freelance no Mundo Real?

SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?

February 17, 2025

Autores: Samuel Miserendino, Michele Wang, Tejal Patwardhan, Johannes Heidecke

cs.AI

Resumo

Apresentamos o SWE-Lancer, um benchmark composto por mais de 1.400 tarefas de engenharia de software freelancer extraídas do Upwork, com um valor total de \$1 milhão em pagamentos reais. O SWE-Lancer abrange tanto tarefas de engenharia independentes—variando desde 50 correções de bugs até implementações de funcionalidades de \$32.000—quanto tarefas gerenciais, nas quais os modelos escolhem entre propostas de implementação técnica. As tarefas independentes são avaliadas por meio de testes de ponta a ponta verificados três vezes por engenheiros de software experientes, enquanto as decisões gerenciais são comparadas com as escolhas dos gerentes de engenharia originalmente contratados. Avaliamos o desempenho dos modelos e constatamos que os modelos de ponta ainda não são capazes de resolver a maioria das tarefas. Para facilitar pesquisas futuras, disponibilizamos publicamente uma imagem Docker unificada e uma divisão de avaliação pública, o SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). Ao mapear o desempenho dos modelos para o valor monetário, esperamos que o SWE-Lancer permita uma maior investigação sobre o impacto econômico do desenvolvimento de modelos de IA.

English

We introduce SWE-Lancer, a benchmark of over 1,400 freelance software engineering tasks from Upwork, valued at \1 million USD total in real-world payouts. SWE-Lancer encompasses both independent engineering tasks--ranging from 50 bug fixes to \$32,000 feature implementations--and managerial tasks, where models choose between technical implementation proposals. Independent tasks are graded with end-to-end tests triple-verified by experienced software engineers, while managerial decisions are assessed against the choices of the original hired engineering managers. We evaluate model performance and find that frontier models are still unable to solve the majority of tasks. To facilitate future research, we open-source a unified Docker image and a public evaluation split, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). By mapping model performance to monetary value, we hope SWE-Lancer enables greater research into the economic impact of AI model development.