TUA-Bench：汎用端末利用エージェントのためのベンチマーク

要旨

大規模言語モデルとハーネスフレームワークが進歩し続けるにつれて、ターミナルで動作するエージェントは、コーディング以外のより広範な一般的なコンピュータ使用タスクを実行できるようになってきている。しかしながら、既存のベンチマークは汎用ターミナルコンピュータ使用エージェント（TUA）を適切に評価していない。すなわち、汎用コンピュータ使用ベンチマークは主にグラフィカルユーザインタフェース（GUI）を対象としているのに対し、ターミナルベースのベンチマークは歴史的にシェルに固有の技術的・プログラミング中心のワークフローに大きく重点を置いている。本稿では、ターミナル使用エージェント向けの汎用ベンチマークであるTUA-Benchを紹介する。TUA-Benchは、5つのタスクファミリーにわたる120の実世界タスクを含み、文書編集、メール管理、ライブウェブ情報検索などの日常的なデジタル活動と、博士レベルのドメイン専門家と共同設計した専門ソフトウェアを必要とする科学的・工学的ワークフローの両方をカバーする。この広範さにより、TUA-Benchは従来のシェル中心またはドメイン特化型のベンチマークとは一線を画す。各タスクは手動で設計され、決定論的セットアップスクリプトを用いて実際のターミナルで実行され、実行ベースのスコアリングプロトコルによって評価される。最先端エージェントであるClaude Code with Claude Opus 4.8 最大推論努力は、全体的なパフォーマンス65.8%を達成し、両トラック間で大きなギャップがあることが判明した。ターミナル使用能力の広範かつ現実的な評価を提供することで、TUA-Benchは、狭くタスク特化型のアシスタントから、多様なデジタル環境で信頼性高く動作可能な汎用エージェントへの移行を加速することを目指す。

English

As large language models and harness frameworks continue to advance, agents operating in terminals are increasingly capable of performing a broader range of general computer-use tasks beyond coding. However, existing benchmarks do not adequately evaluate general-purpose terminal computer-use agents (TUAs): general computer-use benchmarks primarily target graphical user interfaces (GUIs), whereas terminal-based benchmarks largely emphasize technical and programming-centric workflows historically native to the shell. We introduce TUA-Bench, a general-purpose benchmark for terminal-use agents. TUA-Bench includes 120 real-world tasks across five task families, covering routine digital activities-including document editing, email management, and live-web information seeking-as well as scientific and engineering workflows co-designed with PhD-level domain experts that require specialized software. This breadth distinguishes TUA-Bench from prior shell-focused or domain-specific benchmarks. Each task is manually designed, runs in a real terminal with a deterministic setup script, and is evaluated by an execution-based scoring protocol. We find that the strongest frontier agent, Claude Code with Claude Opus 4.8 max reasoning effort, achieves 65.8% overall performance, with substantial gaps across both tracks. By providing a broad and realistic evaluation of terminal-use capabilities, TUA-Bench aims to accelerate the transition from narrow, task-specific assistants to general-purpose agents capable of operating reliably across diverse digital environments.