SWE-Lancer: フロンティアLLMがリアルワールドのフリーランスソフトウェアエンジニアリングで100万ドルを稼げるか？

SWE-Lancer: Can Frontier LLMs Earn $1 Million from Real-World Freelance Software Engineering?

February 17, 2025

著者: Samuel Miserendino, Michele Wang, Tejal Patwardhan, Johannes Heidecke

cs.AI

要旨

SWE-Lancerは、Upworkからの1,400以上のフリーランスソフトウェアエンジニアリングタスクのベンチマークを紹介します。これらのタスクは、実際の支払総額が100万ドルに達するものです。SWE-Lancerには、独立したエンジニアリングタスク（50のバグ修正から32,000ドルの機能実装まで）と、技術的実装提案の選択をモデルが行うマネージャータスクの両方が含まれています。独立したタスクは、経験豊富なソフトウェアエンジニアによってトリプル検証されたエンドツーエンドテストで評価され、マネジャーの決定は元の雇われたエンジニアリングマネージャーの選択と比較されます。モデルのパフォーマンスを評価し、最先端のモデルでもまだ大半のタスクを解決できないことがわかりました。将来の研究を促進するために、統合されたDockerイメージと公開評価スプリット、SWE-Lancer Diamondをオープンソースで提供します（https://github.com/openai/SWELancer-Benchmark）。モデルのパフォーマンスを金銭価値にマッピングすることで、SWE-LancerがAIモデル開発の経済への影響に関するさらなる研究を可能にすることを期待しています。

English

We introduce SWE-Lancer, a benchmark of over 1,400 freelance software engineering tasks from Upwork, valued at \1 million USD total in real-world payouts. SWE-Lancer encompasses both independent engineering tasks--ranging from 50 bug fixes to \$32,000 feature implementations--and managerial tasks, where models choose between technical implementation proposals. Independent tasks are graded with end-to-end tests triple-verified by experienced software engineers, while managerial decisions are assessed against the choices of the original hired engineering managers. We evaluate model performance and find that frontier models are still unable to solve the majority of tasks. To facilitate future research, we open-source a unified Docker image and a public evaluation split, SWE-Lancer Diamond (https://github.com/openai/SWELancer-Benchmark). By mapping model performance to monetary value, we hope SWE-Lancer enables greater research into the economic impact of AI model development.