OSWorld2.0: Evaluación Comparativa de Agentes de Uso de Computadoras en Tareas del Mundo Real de Largo Plazo

Resumen

Los benchmarks existentes de uso de computadoras no logran capturar el realismo, la complejidad y las demandas de horizonte largo del uso real de computadoras, lo que limita su capacidad para revelar las limitaciones de los agentes de frontera. Presentamos OSWorld 2.0, un benchmark de 108 flujos de trabajo de uso de computadoras de horizonte largo que abarcan tareas cotidianas y profesionales, diseñado para capturar fenómenos complejos y desafiantes del mundo real. Cada tarea representa un flujo de trabajo integral realista que lleva a los usuarios humanos una mediana de aproximadamente 1.6 horas en completar y requiere un promedio de 318 llamadas a herramientas con Claude Opus 4.7 usando pensamiento máximo, en comparación con alrededor de 30 en OSWorld 1.0. OSWorld 2.0 se enfoca en fenómenos desafiantes que son comunes en flujos de trabajo reales pero están subrepresentados en benchmarks anteriores, abarcando desafíos de diseño de interacción como la interacción continua y entornos dinámicos, así como desafíos de patrones de agente como el razonamiento entre fuentes, la inferencia de estado implícito y la precisión visuoespacial. Las tareas están basadas en artefactos de entrada auténticos y referenciadas de forma cruzada con datos de perfil de usuario realistas y con estado, e incluyen informes de seguridad separados que auditan la ejecución sensible a la seguridad. Bajo nuestra métrica principal de finalización binaria a 500 pasos, Claude Opus 4.8 con pensamiento máximo y llamadas a herramientas por lotes obtiene la mejor puntuación, pero aún completa solo el 20.6% de las tareas con una puntuación parcial del 54.8%; GPT-5.5 es mucho más eficiente en tokens, pero se estabiliza cerca del 13%. Estos resultados muestran que los agentes actuales todavía están lejos del uso de computadoras a nivel profesional: en lugar de tropezar con el control básico de la GUI o la codificación, pierden el rastro de las restricciones, pasan por alto información que llega a mitad de la tarea, adivinan en lugar de preguntar al usuario y omiten la verificación, teniendo más dificultades cuando una tarea depende de un estado oculto que deben recuperar.

English

Existing computer-use benchmarks fail to capture the realism, complexity, and long-horizon demands of real-world computer use, limiting their ability to reveal the limitations of frontier agents. We introduce OSWorld 2.0, a benchmark of 108 long-horizon computer-use workflows across everyday and professional tasks, designed to capture complex and challenging real-world phenomena. Each task represents a realistic end-to-end workflow that takes human users a median of about 1.6 hours to complete and requires an average of 318 tool calls with Claude Opus 4.7 using maximum thinking, compared with about 30 in OSWorld 1.0. OSWorld 2.0 targets challenge phenomena that are common in real workflows yet underrepresented in prior benchmarks, spanning interaction-design challenges such as streaming interaction and dynamic environments, as well as agent-pattern challenges such as cross-source reasoning, implicit-state inference, and visual-spatial precision. Tasks are grounded in authentic input artifacts and cross-referenced against realistic stateful user profile data, and include separate safety reports auditing safety-sensitive execution. Under our primary binary-completion metric at 500 steps, Claude Opus 4.8 with maximum thinking and batched tool calls scores best but still completes only 20.6% of tasks at a 54.8% partial score; GPT-5.5 is far more token-efficient yet plateaus near 13%. These results show that current agents are still far from professional-level computer use: rather than stumbling on basic GUI control or coding, they lose track of constraints, miss information that arrives mid-task, guess rather than ask the user, and skip verification, struggling most when a task hinges on hidden state they must recover.