SWE-Lancer: ¿Pueden los modelos de lenguaje masivo de Frontier ganar $1 millón en trabajos freelance de ingeniería de software del mundo real?

SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?

February 17, 2025

Autores: Samuel Miserendino, Michele Wang, Tejal Patwardhan, Johannes Heidecke

cs.AI

Resumen

Presentamos SWE-Lancer, un conjunto de pruebas de más de 1,400 tareas de ingeniería de software independiente de Upwork, valoradas en un total de 1 millón de USD en pagos reales. SWE-Lancer abarca tanto tareas de ingeniería independiente, que van desde 50 correcciones de errores hasta implementaciones de funciones de 32,000 USD, como tareas de gestión, donde los modelos eligen entre propuestas de implementación técnica. Las tareas independientes se califican con pruebas de extremo a extremo verificadas triplemente por ingenieros de software experimentados, mientras que las decisiones de gestión se evalúan en comparación con las elecciones de los gerentes de ingeniería contratados originales. Evaluamos el rendimiento del modelo y encontramos que los modelos de vanguardia aún no pueden resolver la mayoría de las tareas. Para facilitar la investigación futura, publicamos de código abierto una imagen Docker unificada y una división de evaluación pública, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). Al mapear el rendimiento del modelo al valor monetario, esperamos que SWE-Lancer permita una mayor investigación sobre el impacto económico del desarrollo de modelos de IA.

English

We introduce SWE-Lancer, a benchmark of over 1,400 freelance software engineering tasks from Upwork, valued at \1 million USD total in real-world payouts. SWE-Lancer encompasses both independent engineering tasks--ranging from 50 bug fixes to \$32,000 feature implementations--and managerial tasks, where models choose between technical implementation proposals. Independent tasks are graded with end-to-end tests triple-verified by experienced software engineers, while managerial decisions are assessed against the choices of the original hired engineering managers. We evaluate model performance and find that frontier models are still unable to solve the majority of tasks. To facilitate future research, we open-source a unified Docker image and a public evaluation split, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). By mapping model performance to monetary value, we hope SWE-Lancer enables greater research into the economic impact of AI model development.