TUA-Bench: 범용 터미널 사용 에이전트를 위한 벤치마크

초록

대규모 언어 모델과 활용 프레임워크가 지속적으로 발전함에 따라, 터미널에서 작동하는 에이전트는 코딩을 넘어 더 폭넓은 일반 컴퓨터 사용 작업을 수행할 수 있는 능력을 점차 갖추고 있다. 그러나 기존 벤치마크는 범용 터미널 컴퓨터 사용 에이전트(TUA)를 적절히 평가하지 못한다. 일반 컴퓨터 사용 벤치마크는 주로 그래픽 사용자 인터페이스(GUI)를 대상으로 하는 반면, 터미널 기반 벤치마크는 역사적으로 셸에서 사용되던 기술 및 프로그래밍 중심 워크플로우에 크게 초점을 맞추고 있기 때문이다. 우리는 터미널 사용 에이전트를 위한 범용 벤치마크인 TUA-Bench를 소개한다. TUA-Bench는 다섯 가지 작업군에 걸쳐 120개의 실제 작업을 포함하며, 문서 편집, 이메일 관리, 실시간 웹 정보 검색과 같은 일상적인 디지털 활동뿐만 아니라 박사 수준의 도메인 전문가와 공동 설계한 과학 및 엔지니어링 워크플로우(전문 소프트웨어 필요)도 다룬다. 이러한 폭넓은 범위는 TUA-Bench를 기존의 셸 중심 또는 도메인 특화 벤치마크와 차별화한다. 각 작업은 수작업으로 설계되었으며, 결정론적 설정 스크립트가 포함된 실제 터미널에서 실행되고, 실행 기반 점수 평가 프로토콜로 평가된다. 최첨단 프론티어 에이전트인 Claude Code(Claude Opus 4.8 최대 추론 노력)는 전체 성능 65.8%를 달성했으며, 두 트랙 모두에서 상당한 격차를 보였다. TUA-Bench는 터미널 사용 능력에 대한 광범위하고 현실적인 평가를 제공함으로써, 좁고 작업 특화된 어시스턴트에서 다양한 디지털 환경에서 안정적으로 작동할 수 있는 범용 에이전트로의 전환을 가속화하는 것을 목표로 한다.

English

As large language models and harness frameworks continue to advance, agents operating in terminals are increasingly capable of performing a broader range of general computer-use tasks beyond coding. However, existing benchmarks do not adequately evaluate general-purpose terminal computer-use agents (TUAs): general computer-use benchmarks primarily target graphical user interfaces (GUIs), whereas terminal-based benchmarks largely emphasize technical and programming-centric workflows historically native to the shell. We introduce TUA-Bench, a general-purpose benchmark for terminal-use agents. TUA-Bench includes 120 real-world tasks across five task families, covering routine digital activities-including document editing, email management, and live-web information seeking-as well as scientific and engineering workflows co-designed with PhD-level domain experts that require specialized software. This breadth distinguishes TUA-Bench from prior shell-focused or domain-specific benchmarks. Each task is manually designed, runs in a real terminal with a deterministic setup script, and is evaluated by an execution-based scoring protocol. We find that the strongest frontier agent, Claude Code with Claude Opus 4.8 max reasoning effort, achieves 65.8% overall performance, with substantial gaps across both tracks. By providing a broad and realistic evaluation of terminal-use capabilities, TUA-Bench aims to accelerate the transition from narrow, task-specific assistants to general-purpose agents capable of operating reliably across diverse digital environments.