TUA-Bench : Un benchmark pour agents généralistes d’utilisation en terminal

Résumé

Alors que les grands modèles de langage et les cadres d'évaluation continuent de progresser, les agents opérant dans des terminaux sont de plus en plus capables d'effectuer un éventail plus large de tâches générales d'utilisation d'ordinateur au-delà du codage. Cependant, les benchmarks existants n'évaluent pas correctement les agents polyvalents d'utilisation d'ordinateur via terminal (TUAs) : les benchmarks d'utilisation générale d'ordinateur ciblent principalement les interfaces utilisateur graphiques (GUIs), tandis que les benchmarks basés sur le terminal mettent largement l'accent sur les flux de travail techniques et centrés sur la programmation, historiquement natifs du shell. Nous présentons TUA-Bench, un benchmark à usage général pour les agents utilisant des terminaux. TUA-Bench comprend 120 tâches du monde réel réparties en cinq familles de tâches, couvrant les activités numériques courantes — y compris l'édition de documents, la gestion des courriels et la recherche d'informations sur le web en temps réel — ainsi que des flux de travail scientifiques et d'ingénierie co-conçus avec des experts de domaine de niveau doctorat, qui nécessitent des logiciels spécialisés. Cette ampleur distingue TUA-Bench des benchmarks précédents axés sur le shell ou spécifiques à un domaine. Chaque tâche est conçue manuellement, s'exécute dans un terminal réel avec un script de configuration déterministe, et est évaluée par un protocole de notation basé sur l'exécution. Nous constatons que l'agent de pointe le plus performant, Claude Code avec Claude Opus 4.8 en effort de raisonnement maximal, atteint une performance globale de 65,8 %, avec des écarts substantiels dans les deux volets. En fournissant une évaluation large et réaliste des capacités d'utilisation du terminal, TUA-Bench vise à accélérer la transition d'assistants étroits et spécifiques à une tâche vers des agents polyvalents capables d'opérer de manière fiable dans divers environnements numériques.

English

As large language models and harness frameworks continue to advance, agents operating in terminals are increasingly capable of performing a broader range of general computer-use tasks beyond coding. However, existing benchmarks do not adequately evaluate general-purpose terminal computer-use agents (TUAs): general computer-use benchmarks primarily target graphical user interfaces (GUIs), whereas terminal-based benchmarks largely emphasize technical and programming-centric workflows historically native to the shell. We introduce TUA-Bench, a general-purpose benchmark for terminal-use agents. TUA-Bench includes 120 real-world tasks across five task families, covering routine digital activities-including document editing, email management, and live-web information seeking-as well as scientific and engineering workflows co-designed with PhD-level domain experts that require specialized software. This breadth distinguishes TUA-Bench from prior shell-focused or domain-specific benchmarks. Each task is manually designed, runs in a real terminal with a deterministic setup script, and is evaluated by an execution-based scoring protocol. We find that the strongest frontier agent, Claude Code with Claude Opus 4.8 max reasoning effort, achieves 65.8% overall performance, with substantial gaps across both tracks. By providing a broad and realistic evaluation of terminal-use capabilities, TUA-Bench aims to accelerate the transition from narrow, task-specific assistants to general-purpose agents capable of operating reliably across diverse digital environments.