TUA-Bench: Ein Benchmark für Allzweck-Terminalagenten

Zusammenfassung

Da große Sprachmodelle und ihre Rahmenwerke (Frameworks) weiterhin Fortschritte machen, sind Agenten, die in Terminals arbeiten, zunehmend in der Lage, eine breitere Palette allgemeiner Computeraufgaben über das Programmieren hinaus auszuführen. Bestehende Benchmarks bewerten jedoch allgemein einsetzbare Terminal-Computer-Agenten (TUAs) nicht angemessen: Allgemeine Computer-Benchmarks zielen hauptsächlich auf grafische Benutzeroberflächen (GUIs) ab, während terminalbasierte Benchmarks weitgehend technische und programmierzentrierte Arbeitsabläufe betonen, die historisch in der Shell zu Hause sind. Wir stellen TUA-Bench vor, einen allgemeinen Benchmark für Terminal-Agenten. TUA-Bench umfasst 120 reale Aufgaben aus fünf Aufgabenfamilien und deckt routinemäßige digitale Aktivitäten ab – darunter Dokumentbearbeitung, E-Mail-Verwaltung und Live-Web-Informationssuche – sowie wissenschaftliche und ingenieurtechnische Arbeitsabläufe, die gemeinsam mit Fachexperten auf Doktoratsniveau entwickelt wurden und spezialisierte Software erfordern. Diese Breite unterscheidet TUA-Bench von früheren shell-fokussierten oder domänenspezifischen Benchmarks. Jede Aufgabe wird manuell entworfen, in einem echten Terminal mit einem deterministischen Einrichtungsskript ausgeführt und mittels eines ausführungsbasierten Bewertungsprotokolls evaluiert. Wir stellen fest, dass der stärkste Grenzbereichs-Agent, Claude Code mit Claude Opus 4.8 maximalem Reasoning-Aufwand, eine Gesamtleistung von 65,8 % erreicht, mit erheblichen Lücken in beiden Bereichen. Indem TUA-Bench eine breite und realistische Bewertung von Terminal-Nutzungsfähigkeiten bietet, zielt es darauf ab, den Übergang von engen, aufgabenspezifischen Assistenten zu allgemeinen Agenten zu beschleunigen, die in der Lage sind, zuverlässig in verschiedenen digitalen Umgebungen zu operieren.

English

As large language models and harness frameworks continue to advance, agents operating in terminals are increasingly capable of performing a broader range of general computer-use tasks beyond coding. However, existing benchmarks do not adequately evaluate general-purpose terminal computer-use agents (TUAs): general computer-use benchmarks primarily target graphical user interfaces (GUIs), whereas terminal-based benchmarks largely emphasize technical and programming-centric workflows historically native to the shell. We introduce TUA-Bench, a general-purpose benchmark for terminal-use agents. TUA-Bench includes 120 real-world tasks across five task families, covering routine digital activities-including document editing, email management, and live-web information seeking-as well as scientific and engineering workflows co-designed with PhD-level domain experts that require specialized software. This breadth distinguishes TUA-Bench from prior shell-focused or domain-specific benchmarks. Each task is manually designed, runs in a real terminal with a deterministic setup script, and is evaluated by an execution-based scoring protocol. We find that the strongest frontier agent, Claude Code with Claude Opus 4.8 max reasoning effort, achieves 65.8% overall performance, with substantial gaps across both tracks. By providing a broad and realistic evaluation of terminal-use capabilities, TUA-Bench aims to accelerate the transition from narrow, task-specific assistants to general-purpose agents capable of operating reliably across diverse digital environments.