OSWorld2.0 : Évaluation des agents d’utilisation d’ordinateur sur des tâches réelles à long horizon

Résumé

Les benchmarks existants d'utilisation d'ordinateur ne parviennent pas à capturer le réalisme, la complexité et les exigences à long terme de l'utilisation réelle d'un ordinateur, limitant ainsi leur capacité à révéler les limitations des agents de pointe. Nous présentons OSWorld 2.0, un benchmark composé de 108 flux de travail d'utilisation d'ordinateur de longue durée, couvrant des tâches quotidiennes et professionnelles, conçu pour capturer des phénomènes réels complexes et difficiles. Chaque tâche représente un flux de travail réaliste de bout en bout dont la réalisation prend en médiane environ 1,6 heure aux utilisateurs humains et nécessite en moyenne 318 appels d'outils avec Claude Opus 4.7 en mode de réflexion maximale, contre environ 30 dans OSWorld 1.0. OSWorld 2.0 cible des phénomènes de défi courants dans les flux de travail réels mais sous-représentés dans les benchmarks antérieurs, couvrant des défis de conception d'interaction tels que l'interaction en continu et les environnements dynamiques, ainsi que des défis de schémas d'agents tels que le raisonnement multi-source, l'inférence d'état implicite et la précision visuo-spatiale. Les tâches sont ancrées dans des artefacts d'entrée authentiques et recoupées avec des données de profil utilisateur réalistes et contextualisées, et incluent des rapports de sécurité distincts auditant les exécutions sensibles en matière de sécurité. Selon notre métrique principale de complétion binaire à 500 étapes, Claude Opus 4.8 avec réflexion maximale et appels d'outils par lots obtient le meilleur score, mais ne termine que 20,6 % des tâches avec un score partiel de 54,8 % ; GPT-5.5 est bien plus économique en tokens mais plafonne près de 13 %. Ces résultats montrent que les agents actuels sont encore loin d'une utilisation informatique de niveau professionnel : plutôt que de buter sur le contrôle GUI de base ou le codage, ils perdent le fil des contraintes, manquent des informations qui arrivent en cours de tâche, devinent plutôt que de demander à l'utilisateur et sautent la vérification, rencontrant le plus de difficultés lorsqu'une tâche repose sur un état caché qu'ils doivent retrouver.

English

Existing computer-use benchmarks fail to capture the realism, complexity, and long-horizon demands of real-world computer use, limiting their ability to reveal the limitations of frontier agents. We introduce OSWorld 2.0, a benchmark of 108 long-horizon computer-use workflows across everyday and professional tasks, designed to capture complex and challenging real-world phenomena. Each task represents a realistic end-to-end workflow that takes human users a median of about 1.6 hours to complete and requires an average of 318 tool calls with Claude Opus 4.7 using maximum thinking, compared with about 30 in OSWorld 1.0. OSWorld 2.0 targets challenge phenomena that are common in real workflows yet underrepresented in prior benchmarks, spanning interaction-design challenges such as streaming interaction and dynamic environments, as well as agent-pattern challenges such as cross-source reasoning, implicit-state inference, and visual-spatial precision. Tasks are grounded in authentic input artifacts and cross-referenced against realistic stateful user profile data, and include separate safety reports auditing safety-sensitive execution. Under our primary binary-completion metric at 500 steps, Claude Opus 4.8 with maximum thinking and batched tool calls scores best but still completes only 20.6% of tasks at a 54.8% partial score; GPT-5.5 is far more token-efficient yet plateaus near 13%. These results show that current agents are still far from professional-level computer use: rather than stumbling on basic GUI control or coding, they lose track of constraints, miss information that arrives mid-task, guess rather than ask the user, and skip verification, struggling most when a task hinges on hidden state they must recover.