OSReward: 플랫폼 간 컴퓨터 사용 보상 모델을 위한 표준화된 평가 체계 구축

초록

컴퓨터 사용 에이전트(CUA)는 디지털 세계 전반에 걸쳐 빠르게 발전하고 있다. CUA 궤적은 에이전트의 행동, 상태, 추론 과정을 기록한다. 작업 지시를 실제로 수행했는지 검증하는 것은 CUA 평가, 데이터 큐레이션, 강화 학습의 핵심이다. 인간이 작성한 검증기나 인간 주석자 모두 이러한 검증을 대규모로 제공할 수 없기 때문에, 연구계에서는 CUA 궤적을 평가하는 심판으로서 비전-언어 모델(VLM)을 점차 활용하고 있다. 그러나 “이러한 VLM 심판이 충분히 신뢰할 수 있는가”라는 근본적인 질문은 오랫동안 검토되지 않았다. 이를 체계적으로 연구하기 위해 우리는 실제적이고 고품질의 벤치마크인 OSReward를 도입한다. OSReward는 CUA 궤적에 대한 VLM 심판을 평가한다. 궤적은 다양한 플랫폼에서 인간이 검증한 지시문을 실행하는 다양한 에이전트 백본으로부터 수집되었으며, 이후 다단계 인간 주석을 통해 엄격하게 실측 판정(ground-truth verdict)으로 라벨링되었다. 이를 기반으로 우리는 진정으로 어려운 사례에 집중하는 챌린지 세트인 OSReward-Hard와 세분화된 효율성 및 정렬 점수를 위한 OSReward-Multi를 도출한다. 지금까지 이루어진 VLM 심판에 대한 가장 포괄적인 평가에서, 최첨단 모델조차도 이상적인 심판에는 미치지 못하며, 실패한 실행을 성공으로 잘못 분류하는 체계적인 관대함 편향을 공유한다는 사실을 발견했다. 신뢰할 만한 소수 모델은 대규모로 실행하기에는 비용이 너무 높은 반면, 저렴한 오픈 모델은 성능이 크게 뒤처진다. 이러한 격차를 해소하기 위해 우리는 CUA 커뮤니티를 위한 추론이 주석된 궤적 판정 오픈 코퍼스인 OS-Shepherd-100K를 구축하고 공개한다. 이를 바탕으로 우리는 오픈 보상 모델인 OS-Shepherd(9B 및 35B)를 학습시킨다. 이 모델은 저비용·안정적·신뢰할 수 있는 보상 신호를 제공하며, 최첨단 모델보다 30~60% 낮은 비용으로 상용 심판 모델에 필적하는 성능을 낸다. 광범위한 분석은 대규모 신뢰 가능한 CUA 보상 설계에 대한 추가적인 시사점을 제공한다. 우리의 코드, 벤치마크, 데이터셋, 모델 체크포인트는 https://os-copilot.github.io/OSReward-Home/에서 확인할 수 있다.

English

Computer-using agents (CUAs) are advancing rapidly across the digital world. A CUA trajectory records the agent's actions, states, and reasoning. Verifying whether it fulfilled the task instruction is central to CUA evaluation, data curation, and reinforcement learning. Neither human-written verifiers nor human annotators can provide such verification at scale, so the field increasingly turns to vision-language models (VLMs) as judges of CUA trajectories. But a fundamental question has long gone unexamined: are these VLM judges reliable enough? To study it systematically, we introduce OSReward, a realistic, high-quality benchmark that evaluates VLM judges on CUA trajectories. The trajectories come from diverse agent backbones executing human-verified instructions across platforms, then rigorously labeled with ground-truth verdicts through multi-stage human annotation. Building on it, we derive OSReward-Hard, a challenge set concentrating genuinely hard cases, and OSReward-Multi for fine-grained efficiency and alignment scoring. The most comprehensive evaluation of VLM judges to date finds even state-of-the-art models fall short of an ideal judge, sharing a systematic leniency bias that mislabels failed runs as successes. The few reliable enough to trust are too expensive to run at scale, while affordable open models trail far behind. To close this gap, we construct and release OS-Shepherd-100K, an open corpus of reasoning-annotated trajectory judgments for the CUA community. On it, we train OS-Shepherd (9B and 35B), open reward models that supply low-cost, stable, and reliable reward signals, matching commercial judges at 30-60% lower cost than the frontier. Extensive analyses further inform the design of reliable CUA reward at scale. Our code, benchmark, dataset, and model checkpoints are available at https://os-copilot.github.io/OSReward-Home/.