OSWorld2.0: Het benchmarken van computergebruikagenten op langetermijn real-world taken

Samenvatting

Bestaande benchmarks voor computergebruik slagen er niet in om de realiteit, complexiteit en langdurige eisen van computergebruik in de echte wereld te vatten, waardoor ze beperkt zijn in het blootleggen van de tekortkomingen van geavanceerde agenten. We introduceren OSWorld 2.0, een benchmark van 108 langdurige computergebruik-workflows, verdeeld over alledaagse en professionele taken, ontworpen om complexe en uitdagende fenomenen uit de echte wereld te vangen. Elke taak vertegenwoordigt een realistische end-to-end workflow die menselijke gebruikers mediaan ongeveer 1,6 uur kost om te voltooien en gemiddeld 318 toolaanroepen vereist met Claude Opus 4.7 bij maximaal denkvermogen, vergeleken met ongeveer 30 in OSWorld 1.0. OSWorld 2.0 richt zich op uitdagende fenomenen die veelvoorkomend zijn in echte workflows maar ondervertegenwoordigd in eerdere benchmarks, variërend van interactie-ontwerpuitdagingen zoals streaminginteractie en dynamische omgevingen, tot agent-patroonuitdagingen zoals cross-bron redeneren, inferentie van impliciete toestand en visueel-ruimtelijke precisie. Taken zijn gebaseerd op authentieke invoerartefacten en worden gecross-referenced tegen realistische, toestandhoudende gebruikersprofielgegevens, en bevatten aparte veiligheidsrapporten die veiligheidsgevoelige uitvoering auditen. Onder onze primaire binaire voltooiingsmaatstaf bij 500 stappen presteert Claude Opus 4.8 met maximaal denkvermogen en gebundelde toolaanroepen het beste, maar voltooit slechts 20,6% van de taken met een gedeeltelijke score van 54,8%; GPT-5.5 is veel token-efficiënter maar stagneert rond 13%. Deze resultaten tonen aan dat huidige agenten nog ver verwijderd zijn van professioneel computergebruik: in plaats van te struikelen over basis GUI-besturing of programmeren, verliezen ze beperkingen uit het oog, missen ze informatie die tijdens de taak binnenkomt, gissen ze in plaats van de gebruiker te vragen, en slaan ze verificatie over. Ze hebben het meeste moeite wanneer een taak afhangt van verborgen toestand die ze moeten herstellen.

English

Existing computer-use benchmarks fail to capture the realism, complexity, and long-horizon demands of real-world computer use, limiting their ability to reveal the limitations of frontier agents. We introduce OSWorld 2.0, a benchmark of 108 long-horizon computer-use workflows across everyday and professional tasks, designed to capture complex and challenging real-world phenomena. Each task represents a realistic end-to-end workflow that takes human users a median of about 1.6 hours to complete and requires an average of 318 tool calls with Claude Opus 4.7 using maximum thinking, compared with about 30 in OSWorld 1.0. OSWorld 2.0 targets challenge phenomena that are common in real workflows yet underrepresented in prior benchmarks, spanning interaction-design challenges such as streaming interaction and dynamic environments, as well as agent-pattern challenges such as cross-source reasoning, implicit-state inference, and visual-spatial precision. Tasks are grounded in authentic input artifacts and cross-referenced against realistic stateful user profile data, and include separate safety reports auditing safety-sensitive execution. Under our primary binary-completion metric at 500 steps, Claude Opus 4.8 with maximum thinking and batched tool calls scores best but still completes only 20.6% of tasks at a 54.8% partial score; GPT-5.5 is far more token-efficient yet plateaus near 13%. These results show that current agents are still far from professional-level computer use: rather than stumbling on basic GUI control or coding, they lose track of constraints, miss information that arrives mid-task, guess rather than ask the user, and skip verification, struggling most when a task hinges on hidden state they must recover.