SWE-Lancer : Les LLM de Frontier peuvent-ils gagner 1 million de dollars en travaillant en freelance dans le domaine de l'ingénierie logicielle ?

SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?

February 17, 2025

Auteurs: Samuel Miserendino, Michele Wang, Tejal Patwardhan, Johannes Heidecke

cs.AI

Résumé

Nous présentons SWE-Lancer, un ensemble de référence de plus de 1 400 tâches de génie logiciel freelance provenant d'Upwork, d'une valeur totale de plus de 1 million de dollars US en paiements réels. SWE-Lancer englobe à la fois des tâches d'ingénierie indépendantes - allant de 50 corrections de bogues à des mises en œuvre de fonctionnalités de 32 000 $ - et des tâches de gestion, où les modèles choisissent entre des propositions d'implémentation technique. Les tâches indépendantes sont évaluées avec des tests de bout en bout triple-vérifiés par des ingénieurs logiciels expérimentés, tandis que les décisions de gestion sont évaluées par rapport aux choix des gestionnaires d'ingénierie embauchés d'origine. Nous évaluons les performances des modèles et constatons que les modèles de pointe sont encore incapables de résoudre la majorité des tâches. Pour faciliter les futures recherches, nous mettons à disposition un conteneur Docker unifié et une division d'évaluation publique, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). En cartographiant les performances des modèles sur la valeur monétaire, nous espérons que SWE-Lancer permettra une recherche plus approfondie sur l'impact économique du développement de modèles d'IA.

English

We introduce SWE-Lancer, a benchmark of over 1,400 freelance software engineering tasks from Upwork, valued at \1 million USD total in real-world payouts. SWE-Lancer encompasses both independent engineering tasks--ranging from 50 bug fixes to \$32,000 feature implementations--and managerial tasks, where models choose between technical implementation proposals. Independent tasks are graded with end-to-end tests triple-verified by experienced software engineers, while managerial decisions are assessed against the choices of the original hired engineering managers. We evaluate model performance and find that frontier models are still unable to solve the majority of tasks. To facilitate future research, we open-source a unified Docker image and a public evaluation split, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). By mapping model performance to monetary value, we hope SWE-Lancer enables greater research into the economic impact of AI model development.