SWE-Lancer: Могут ли модели LLM "Frontier" заработать $1 миллион на фрилансе по программной инженерии в реальном мире?

SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?

February 17, 2025

Авторы: Samuel Miserendino, Michele Wang, Tejal Patwardhan, Johannes Heidecke

cs.AI

Аннотация

Мы представляем SWE-Lancer, бенчмарк из более чем 1 400 задач по фрилансу в области программной инженерии с платформы Upwork, общей стоимостью в 1 миллион долларов США в реальных выплатах. SWE-Lancer охватывает как независимые инженерные задачи - от 50 исправлений ошибок до реализации функций на сумму до 32 000 долларов, так и управленческие задачи, где модели выбирают между техническими предложениями по реализации. Независимые задачи оцениваются с помощью комплексных тестов, проверенных тремя опытными программистами, в то время как управленческие решения оцениваются по выбору оригинальных нанятых менеджеров по инженерии. Мы оцениваем производительность модели и обнаруживаем, что передовые модели все еще не способны решить большинство задач. Для облегчения будущих исследований мы предоставляем в открытый доступ унифицированный образ Docker и общедоступное разделение на оценку, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). Путем сопоставления производительности модели с денежной стоимостью мы надеемся, что SWE-Lancer позволит провести более глубокие исследования в области экономического влияния разработки моделей искусственного интеллекта.

English

We introduce SWE-Lancer, a benchmark of over 1,400 freelance software engineering tasks from Upwork, valued at \1 million USD total in real-world payouts. SWE-Lancer encompasses both independent engineering tasks--ranging from 50 bug fixes to \$32,000 feature implementations--and managerial tasks, where models choose between technical implementation proposals. Independent tasks are graded with end-to-end tests triple-verified by experienced software engineers, while managerial decisions are assessed against the choices of the original hired engineering managers. We evaluate model performance and find that frontier models are still unable to solve the majority of tasks. To facilitate future research, we open-source a unified Docker image and a public evaluation split, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). By mapping model performance to monetary value, we hope SWE-Lancer enables greater research into the economic impact of AI model development.