TUA-Bench: Бенчмарк для агентов общего назначения, использующих терминалы

Аннотация

По мере того как большие языковые модели и каркасные фреймворки продолжают развиваться, агенты, работающие в терминалах, становятся все более способными выполнять более широкий спектр общих задач по использованию компьютера, выходящих за рамки программирования. Однако существующие бенчмарки неадекватно оценивают универсальных терминальных агентов (TUAs): бенчмарки общего назначения в первую очередь нацелены на графические пользовательские интерфейсы (GUI), тогда как терминальные бенчмарки в основном делают упор на технические и программо-ориентированные рабочие процессы, исторически присущие оболочке. Мы представляем TUA-Bench, универсальный бенчмарк для терминальных агентов. TUA-Bench включает 120 реальных задач из пяти семейств, охватывающих рутинные цифровые действия — редактирование документов, управление электронной почтой и поиск информации в живом вебе — а также научные и инженерные рабочие процессы, разработанные совместно с экспертами уровня PhD, требующие специализированного программного обеспечения. Такая широта отличает TUA-Bench от предыдущих бенчмарков, ориентированных на оболочку или предметную область. Каждая задача разработана вручную, выполняется в реальном терминале с детерминированным скриптом настройки и оценивается по протоколу подсчёта баллов на основе выполнения. Мы обнаружили, что самый сильный передовой агент, Claude Code с максимальным усилием рассуждения Claude Opus 4.8, достигает 65,8% общей производительности, при этом наблюдаются существенные разрывы по обоим трекам. Предоставляя широкую и реалистичную оценку возможностей работы в терминалах, TUA-Bench стремится ускорить переход от узких, специализированных ассистентов к универсальным агентам, способным надежно работать в разнообразных цифровых средах.

English

As large language models and harness frameworks continue to advance, agents operating in terminals are increasingly capable of performing a broader range of general computer-use tasks beyond coding. However, existing benchmarks do not adequately evaluate general-purpose terminal computer-use agents (TUAs): general computer-use benchmarks primarily target graphical user interfaces (GUIs), whereas terminal-based benchmarks largely emphasize technical and programming-centric workflows historically native to the shell. We introduce TUA-Bench, a general-purpose benchmark for terminal-use agents. TUA-Bench includes 120 real-world tasks across five task families, covering routine digital activities-including document editing, email management, and live-web information seeking-as well as scientific and engineering workflows co-designed with PhD-level domain experts that require specialized software. This breadth distinguishes TUA-Bench from prior shell-focused or domain-specific benchmarks. Each task is manually designed, runs in a real terminal with a deterministic setup script, and is evaluated by an execution-based scoring protocol. We find that the strongest frontier agent, Claude Code with Claude Opus 4.8 max reasoning effort, achieves 65.8% overall performance, with substantial gaps across both tracks. By providing a broad and realistic evaluation of terminal-use capabilities, TUA-Bench aims to accelerate the transition from narrow, task-specific assistants to general-purpose agents capable of operating reliably across diverse digital environments.