Terminal-Bench: 명령줄 인터페이스에서 어렵고 현실적인 작업에 대한 에이전트 벤치마킹

Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces

January 17, 2026

저자: Mike A. Merrill, Alexander G. Shaw, Nicholas Carlini, Boxuan Li, Harsh Raj, Ivan Bercovich, Lin Shi, Jeong Yeon Shin, Thomas Walshe, E. Kelly Buchanan, Junhong Shen, Guanghao Ye, Haowei Lin, Jason Poulos, Maoyu Wang, Marianna Nezhurina, Jenia Jitsev, Di Lu, Orfeas Menis Mastromichalakis, Zhiwei Xu, Zizhao Chen, Yue Liu, Robert Zhang, Leon Liangyu Chen, Anurag Kashyap, Jan-Lucas Uslu, Jeffrey Li, Jianbo Wu, Minghao Yan, Song Bian, Vedang Sharma, Ke Sun, Steven Dillmann, Akshay Anand, Andrew Lanpouthakoun, Bardia Koopah, Changran Hu, Etash Guha, Gabriel H. S. Dreiman, Jiacheng Zhu, Karl Krauth, Li Zhong, Niklas Muennighoff, Robert Amanfu, Shangyin Tan, Shreyas Pimpalgaonkar, Tushar Aggarwal, Xiangning Lin, Xin Lan, Xuandong Zhao, Yiqing Liang, Yuanli Wang, Zilong Wang, Changzhi Zhou, David Heineman, Hange Liu, Harsh Trivedi, John Yang, Junhong Lin, Manish Shetty, Michael Yang, Nabil Omi, Negin Raoof, Shanda Li, Terry Yue Zhuo, Wuwei Lin, Yiwei Dai, Yuxin Wang, Wenhao Chai, Shang Zhou, Dariush Wahdany, Ziyu She, Jiaming Hu, Zhikang Dong, Yuxuan Zhu, Sasha Cui, Ahson Saiyed, Arinbjörn Kolbeinsson, Jesse Hu, Christopher Michael Rytting, Ryan Marten, Yixin Wang, Alex Dimakis, Andy Konwinski, Ludwig Schmidt

cs.AI

초록

AI 에이전트가 가까운 미래에 다양한 분야에서 가치 있는 장기 과제를 자율적으로 수행할 수 있을 것으로 예상됩니다. 현재 벤치마크는 실제 업무를 측정하지 않거나, 최첨단 모델의 성능을 의미 있게 평가하기에 충분히 어렵지 않습니다. 이를 위해 우리는 실제 워크플로우에서 영감을 받은 컴퓨터 터미널 환경의 89개 과제로 구성된 신중하게 선별된 고난이도 벤치마크인 Terminal-Bench 2.0을 소개합니다. 각 과제는 고유한 환경, 인간이 작성한 솔루션, 검증을 위한 포괄적인 테스트를 특징으로 합니다. 최첨단 모델과 에이전트가 이 벤치마크에서 65% 미만의 점수를 기록함을 보여주며, 모델과 에이전트 개선이 필요한 영역을 파악하기 위한 오류 분석을 수행합니다. 향후 연구를 위한 개발자와 연구자 지원을 위해 데이터셋과 평가 도구를 https://www.tbench.ai/ 에 공개합니다.

English

AI agents may soon become capable of autonomously completing valuable, long-horizon tasks in diverse domains. Current benchmarks either do not measure real-world tasks, or are not sufficiently difficult to meaningfully measure frontier models. To this end, we present Terminal-Bench 2.0: a carefully curated hard benchmark composed of 89 tasks in computer terminal environments inspired by problems from real workflows. Each task features a unique environment, human-written solution, and comprehensive tests for verification. We show that frontier models and agents score less than 65\% on the benchmark and conduct an error analysis to identify areas for model and agent improvement. We publish the dataset and evaluation harness to assist developers and researchers in future work at https://www.tbench.ai/ .