TUA-Bench: Un benchmark para agentes de uso en terminal de propósito general

Resumen

A medida que los modelos de lenguaje de gran escala y los marcos de integración continúan avanzando, los agentes que operan en terminales son cada vez más capaces de realizar una gama más amplia de tareas generales de uso de computadoras, más allá de la codificación. Sin embargo, las evaluaciones comparativas existentes no evalúan adecuadamente a los agentes de uso de terminales de propósito general (TUAs): las evaluaciones comparativas de uso general se centran principalmente en interfaces gráficas de usuario (GUI), mientras que las evaluaciones basadas en terminales enfatizan en gran medida flujos de trabajo técnicos y centrados en la programación que históricamente son nativos del shell. Presentamos TUA-Bench, una evaluación comparativa de propósito general para agentes de uso de terminales. TUA-Bench incluye 120 tareas del mundo real en cinco familias de tareas, que abarcan actividades digitales rutinarias —incluyendo edición de documentos, gestión de correo electrónico y búsqueda de información en la web en vivo— así como flujos de trabajo científicos y de ingeniería, co-diseñados con expertos en el dominio a nivel de doctorado, que requieren software especializado. Esta amplitud distingue a TUA-Bench de evaluaciones comparativas previas, centradas en el shell o en dominios específicos. Cada tarea está diseñada manualmente, se ejecuta en una terminal real con un script de configuración determinista y se evalúa mediante un protocolo de puntuación basado en la ejecución. Encontramos que el agente fronterizo más fuerte, Claude Code con Claude Opus 4.8 con esfuerzo de razonamiento máximo, alcanza un rendimiento general del 65.8%, con brechas sustanciales en ambas pistas. Al proporcionar una evaluación amplia y realista de las capacidades de uso de terminales, TUA-Bench tiene como objetivo acelerar la transición de asistentes estrechos y específicos de tareas a agentes de propósito general capaces de operar de manera confiable en diversos entornos digitales.

English

As large language models and harness frameworks continue to advance, agents operating in terminals are increasingly capable of performing a broader range of general computer-use tasks beyond coding. However, existing benchmarks do not adequately evaluate general-purpose terminal computer-use agents (TUAs): general computer-use benchmarks primarily target graphical user interfaces (GUIs), whereas terminal-based benchmarks largely emphasize technical and programming-centric workflows historically native to the shell. We introduce TUA-Bench, a general-purpose benchmark for terminal-use agents. TUA-Bench includes 120 real-world tasks across five task families, covering routine digital activities-including document editing, email management, and live-web information seeking-as well as scientific and engineering workflows co-designed with PhD-level domain experts that require specialized software. This breadth distinguishes TUA-Bench from prior shell-focused or domain-specific benchmarks. Each task is manually designed, runs in a real terminal with a deterministic setup script, and is evaluated by an execution-based scoring protocol. We find that the strongest frontier agent, Claude Code with Claude Opus 4.8 max reasoning effort, achieves 65.8% overall performance, with substantial gaps across both tracks. By providing a broad and realistic evaluation of terminal-use capabilities, TUA-Bench aims to accelerate the transition from narrow, task-specific assistants to general-purpose agents capable of operating reliably across diverse digital environments.