OSWorld2.0: Benchmarking von Computer-Use-Agenten für langfristige realweltliche Aufgaben

Zusammenfassung

Bestehende Benchmarks zur Computernutzung scheitern daran, die Realitätsnähe, Komplexität und den langfristigen Horizont realer Computernutzung einzufangen, wodurch ihre Fähigkeit eingeschränkt wird, die Grenzen modernster Agenten aufzuzeigen. Wir stellen OSWorld 2.0 vor, einen Benchmark mit 108 langfristigen Computerarbeitsabläufen aus alltäglichen und beruflichen Aufgaben, der darauf ausgelegt ist, komplexe und herausfordernde reale Phänomene abzubilden. Jede Aufgabe repräsentiert einen realistischen End-to-End-Arbeitsablauf, dessen Bearbeitung menschliche Nutzer im Median etwa 1,6 Stunden dauert und der im Durchschnitt 318 Tool-Calls mit Claude Opus 4.7 unter maximaler Denkleistung erfordert, verglichen mit etwa 30 in OSWorld 1.0. OSWorld 2.0 adressiert Herausforderungsphänomene, die in realen Arbeitsabläufen häufig vorkommen, in früheren Benchmarks jedoch unterrepräsentiert sind, darunter Herausforderungen des Interaktionsdesigns wie Streaming-Interaktion und dynamische Umgebungen sowie Herausforderungen des Agentenverhaltens wie quellenübergreifendes Denken, implizite Zustandsinferenz und visuell-räumliche Präzision. Die Aufgaben basieren auf authentischen Eingabeartefakten und sind mit realistischen zustandsbehafteten Benutzerprofildaten verknüpft. Zudem enthalten sie separate Sicherheitsberichte, die sicherheitskritische Ausführungen überprüfen. Unter unserer primären binären Abschlussmetrik bei 500 Schritten erzielt Claude Opus 4.8 mit maximaler Denkleistung und gebündelten Tool-Calls die besten Ergebnisse, schließt aber dennoch nur 20,6 % der Aufgaben ab bei einer Teilbewertung von 54,8 %. GPT-5.5 ist weitaus tokeneffizienter, stagniert jedoch bei etwa 13 %. Diese Ergebnisse zeigen, dass aktuelle Agenten noch weit von einer professionellen Computernutzung entfernt sind: Statt an grundlegender GUI-Steuerung oder Programmierung zu scheitern, verlieren sie Beschränkungen aus den Augen, übersehen während der Aufgabe eingehende Informationen, raten statt den Nutzer zu fragen und überspringen die Überprüfung. Am stärksten haben sie Schwierigkeiten, wenn eine Aufgabe von einem versteckten Zustand abhängt, den sie wiederherstellen müssen.

English

Existing computer-use benchmarks fail to capture the realism, complexity, and long-horizon demands of real-world computer use, limiting their ability to reveal the limitations of frontier agents. We introduce OSWorld 2.0, a benchmark of 108 long-horizon computer-use workflows across everyday and professional tasks, designed to capture complex and challenging real-world phenomena. Each task represents a realistic end-to-end workflow that takes human users a median of about 1.6 hours to complete and requires an average of 318 tool calls with Claude Opus 4.7 using maximum thinking, compared with about 30 in OSWorld 1.0. OSWorld 2.0 targets challenge phenomena that are common in real workflows yet underrepresented in prior benchmarks, spanning interaction-design challenges such as streaming interaction and dynamic environments, as well as agent-pattern challenges such as cross-source reasoning, implicit-state inference, and visual-spatial precision. Tasks are grounded in authentic input artifacts and cross-referenced against realistic stateful user profile data, and include separate safety reports auditing safety-sensitive execution. Under our primary binary-completion metric at 500 steps, Claude Opus 4.8 with maximum thinking and batched tool calls scores best but still completes only 20.6% of tasks at a 54.8% partial score; GPT-5.5 is far more token-efficient yet plateaus near 13%. These results show that current agents are still far from professional-level computer use: rather than stumbling on basic GUI control or coding, they lose track of constraints, miss information that arrives mid-task, guess rather than ask the user, and skip verification, struggling most when a task hinges on hidden state they must recover.