OSReward：クロスプラットフォームのコンピュータ操作報酬モデルに対する標準化評価の確立

要旨

コンピュータ利用エージェント（CUA）はデジタル世界全体で急速に発展している。CUAの軌跡は、エージェントの行動、状態、推論を記録する。タスク指示を達成したかどうかを検証することは、CUAの評価、データキュレーション、強化学習の中核をなす。人間が書いた検証器も人間のアノテーターも、このような検証を大規模に提供することはできないため、この分野ではCUAの軌跡の判定者として視覚言語モデル（VLM）に頼る傾向が強まっている。しかし、これらのVLM判定者が十分に信頼できるのかという根本的な疑問は、長い間検討されないままであった。この問題を体系的に研究するため、我々はCUAの軌跡に対するVLM判定者を評価する、現実的で高品質なベンチマークOSRewardを紹介する。この軌跡は、複数のプラットフォームにわたって人間が検証した指示を実行する多様なエージェントバックボーンから得られ、多段階の人間によるアノテーションを通じて正解の判定結果が厳密にラベル付けされる。これに基づき、真に困難な事例を集めたチャレンジセットOSReward-Hardと、きめ細かい効率性とアライメントのスコアリングのためのOSReward-Multiを導出する。これまでで最も包括的なVLM判定者の評価により、最先端のモデルでさえ理想的な判定者には及ばず、共通して、失敗した実行を成功として誤ってラベル付けするという体系的な寛大さバイアスを持つことが明らかになった。信頼に足る少数のモデルは大規模に実行するにはコストが高すぎる一方、手頃なオープンモデルははるかに遅れを取っている。このギャップを埋めるため、我々はCUAコミュニティ向けに、推論注釈付きの軌跡判定のオープンコーパスOS-Shepherd-100Kを構築し公開する。これを用いて、最先端モデルよりも30〜60%低いコストで商用判定者に匹敵する、低コストで安定した信頼性の高い報酬信号を提供するオープン報酬モデルOS-Shepherd（9Bおよび35B）を訓練する。広範な分析は、大規模な信頼性の高いCUA報酬の設計にさらなる知見をもたらす。我々のコード、ベンチマーク、データセット、モデルチェックポイントは、https://os-copilot.github.io/OSReward-Home/ で入手可能である。

English

Computer-using agents (CUAs) are advancing rapidly across the digital world. A CUA trajectory records the agent's actions, states, and reasoning. Verifying whether it fulfilled the task instruction is central to CUA evaluation, data curation, and reinforcement learning. Neither human-written verifiers nor human annotators can provide such verification at scale, so the field increasingly turns to vision-language models (VLMs) as judges of CUA trajectories. But a fundamental question has long gone unexamined: are these VLM judges reliable enough? To study it systematically, we introduce OSReward, a realistic, high-quality benchmark that evaluates VLM judges on CUA trajectories. The trajectories come from diverse agent backbones executing human-verified instructions across platforms, then rigorously labeled with ground-truth verdicts through multi-stage human annotation. Building on it, we derive OSReward-Hard, a challenge set concentrating genuinely hard cases, and OSReward-Multi for fine-grained efficiency and alignment scoring. The most comprehensive evaluation of VLM judges to date finds even state-of-the-art models fall short of an ideal judge, sharing a systematic leniency bias that mislabels failed runs as successes. The few reliable enough to trust are too expensive to run at scale, while affordable open models trail far behind. To close this gap, we construct and release OS-Shepherd-100K, an open corpus of reasoning-annotated trajectory judgments for the CUA community. On it, we train OS-Shepherd (9B and 35B), open reward models that supply low-cost, stable, and reliable reward signals, matching commercial judges at 30-60% lower cost than the frontier. Extensive analyses further inform the design of reliable CUA reward at scale. Our code, benchmark, dataset, and model checkpoints are available at https://os-copilot.github.io/OSReward-Home/.