OpenComputer: Mundos de Software Verificables para Agentes de Uso Informático

Resumen

Presentamos OpenComputer, un marco fundamentado en verificadores para construir mundos de software verificables para agentes que utilizan computadoras. OpenComputer integra cuatro componentes: (1) verificadores de estado específicos de aplicaciones que exponen puntos de inspección estructurados sobre aplicaciones reales, (2) una capa de verificación auto-evolutiva que mejora la fiabilidad del verificador mediante retroalimentación basada en la ejecución, (3) un flujo de generación de tareas que sintetiza tareas de escritorio realistas y verificables por máquina, y (4) un arnés de evaluación que registra trayectorias completas y calcula recompensas de crédito parcial auditables. En su forma actual, OpenComputer abarca 33 aplicaciones de escritorio y 1000 tareas finalizadas que cubren navegadores, herramientas de oficina, software creativo, entornos de desarrollo, gestores de archivos y aplicaciones de comunicación. Los experimentos muestran que los verificadores codificados de OpenComputer se alinean más estrechamente con el juicio humano que la evaluación LLM-como-juez, especialmente cuando el éxito depende de un estado de la aplicación de grano fino. Los agentes de frontera tienen dificultades para completar tareas de principio a fin a pesar del progreso parcial, y los modelos de código abierto muestran caídas pronunciadas respecto a sus puntuaciones en OSWorld-Verified, lo que expone una brecha persistente en la automatización robusta de computadoras.

English

We present OpenComputer, a verifier-grounded framework for constructing verifiable software worlds for computer-use agents. OpenComputer integrates four components: (1) app-specific state verifiers that expose structured inspection endpoints over real applications, (2) a self-evolving verification layer that improves verifier reliability using execution-grounded feedback, (3) a task-generation pipeline that synthesizes realistic and machine-checkable desktop tasks, and (4) an evaluation harness that records full trajectories and computes auditable partial-credit rewards. In its current form, OpenComputer covers 33 desktop applications and 1,000 finalized tasks spanning browsers, office tools, creative software, development environments, file managers, and communication applications. Experiments show that OpenComputer's hard-coded verifiers align more closely with human adjudication than LLM-as-judge evaluation, especially when success depends on fine-grained application state. Frontier agents struggle with end-to-end completion despite partial progress, and open-source models exhibit sharp drops from their OSWorld-Verified scores, exposing a persistent gap in robust computer automation.