RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests RealSWE: 現実的なユーザー要求下でのコーディングエージェントの合成的評価

要旨

コーディングエージェントは現在、SWE-benchファミリーのベンチマーク群で評価されることが一般的である。そこでのタスクは、長く、構造化され、情報量が豊富なGitHub issueを厳選して構築されている。しかし、実際のユーザーのリクエストは通常、はるかに短く、構造化が不十分である。この乖離を特徴づけるために、我々は6カテゴリからなる情報分類法と言語スタイルの4次元を定義し、SWE-chatの実際のユーザープロンプトとSWE-bench VerifiedおよびProの問題文に適用した。その結果、問題文のみ、あるいは問題文に加えて限られた追加文脈しか含まないリクエストが、実際のプロンプトの88%を占める一方、ベンチマーク問題ではわずか7%にとどまることが分かった。さらに、実際のプロンプトの87%はくだけた文体で書かれているのに対し、ベンチマーク問題の94%はフォーマルである。これらの観察結果に基づき、我々は、SWE-bench VerifiedおよびProから派生した、複数のバリアントを持つ381のタスクファミリーからなるRealSWEを提案する。各ファミリー内のバリアントは、同じ基礎タスクとゴールドパッチを共有し、情報構成と言語スタイルのみが異なる。RealSWEを用いて7つの最新LLMを評価したところ、次のことが明らかになった。i) 現実的な入力は解決率を平均6.4パーセントポイント低下させ、モデルの順位を変え得る。さらに、統制分析により、ii) 望ましい動作と動機を含めることは性能に有意な影響を与える一方、環境情報と再現手順は測定可能な利益を伴わずにトークンを追加するだけであること、またiii) 言語スタイルの影響は小さく、モデルに依存することが示された。これらの知見は、ユーザーとエージェントに対して実行可能な指針を提供する。実際のプロンプトのほとんどが省略している望ましい動作と動機を明示的に記述することで、LLMのソフトウェアエンジニアリング性能は大幅に向上する。

English

Coding agents are now commonly evaluated on the SWE-bench family of benchmarks, whose tasks are built from curated GitHub issues: long, structured, and information-rich. Real user requests, however, are typically far shorter and less structured. To characterize this gap, we define a six-category information taxonomy and four dimensions of linguistic style, and apply them to real user prompts from SWE-chat and problem statements from SWE-bench Verified and Pro. We find that requests carrying only a problem statement, alone or with limited additional context, account for 88% of real prompts but just 7% of benchmark problems. Furthermore, 87% of real prompts are casually written whereas 94% of benchmark problems are formal. Guided by these observations, we introduce RealSWE, 381 multi-variant task families derived from SWE-bench Verified and Pro. Variants within each family share the same underlying task and gold patch while differing only in information composition and linguistic style. Evaluating seven contemporary LLMs with RealSWE, we find that i) realistic inputs reduce resolution rates by 6.4 pp on average and can change model rankings. Controlled analysis further shows that ii) including Desired Behavior and Motivation significantly affects performance, whereas Environment Information and Reproduction Steps merely add tokens without measurable benefit; iii) linguistic style has only small, model-dependent effects. These findings provide actionable guidance for users and agents: explicitly stating the desired behavior and motivation, which most real prompts omit, substantially improves the LLM's software engineering performance.