Terminal-Bench: Bewertung von Agenten anhand schwieriger, realistischer Aufgaben in Befehlszeilenschnittstellen
Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces
January 17, 2026
papers.authors: Mike A. Merrill, Alexander G. Shaw, Nicholas Carlini, Boxuan Li, Harsh Raj, Ivan Bercovich, Lin Shi, Jeong Yeon Shin, Thomas Walshe, E. Kelly Buchanan, Junhong Shen, Guanghao Ye, Haowei Lin, Jason Poulos, Maoyu Wang, Marianna Nezhurina, Jenia Jitsev, Di Lu, Orfeas Menis Mastromichalakis, Zhiwei Xu, Zizhao Chen, Yue Liu, Robert Zhang, Leon Liangyu Chen, Anurag Kashyap, Jan-Lucas Uslu, Jeffrey Li, Jianbo Wu, Minghao Yan, Song Bian, Vedang Sharma, Ke Sun, Steven Dillmann, Akshay Anand, Andrew Lanpouthakoun, Bardia Koopah, Changran Hu, Etash Guha, Gabriel H. S. Dreiman, Jiacheng Zhu, Karl Krauth, Li Zhong, Niklas Muennighoff, Robert Amanfu, Shangyin Tan, Shreyas Pimpalgaonkar, Tushar Aggarwal, Xiangning Lin, Xin Lan, Xuandong Zhao, Yiqing Liang, Yuanli Wang, Zilong Wang, Changzhi Zhou, David Heineman, Hange Liu, Harsh Trivedi, John Yang, Junhong Lin, Manish Shetty, Michael Yang, Nabil Omi, Negin Raoof, Shanda Li, Terry Yue Zhuo, Wuwei Lin, Yiwei Dai, Yuxin Wang, Wenhao Chai, Shang Zhou, Dariush Wahdany, Ziyu She, Jiaming Hu, Zhikang Dong, Yuxuan Zhu, Sasha Cui, Ahson Saiyed, Arinbjörn Kolbeinsson, Jesse Hu, Christopher Michael Rytting, Ryan Marten, Yixin Wang, Alex Dimakis, Andy Konwinski, Ludwig Schmidt
cs.AI
papers.abstract
KI-Agenten könnten bald in der Lage sein, wertvolle, langfristige Aufgaben in verschiedenen Domänen autonom zu bewältigen. Aktuelle Benchmarks messen entweder keine realen Aufgaben oder sind nicht ausreichend anspruchsvoll, um Fortschritte bei hoch entwickelten Modellen sinnvoll zu erfassen. Zu diesem Zweck präsentieren wir Terminal-Bench 2.0: einen sorgfältig kuratierten, anspruchsvollen Benchmark, der 89 Aufgaben in Computer-Terminalumgebungen umfasst, inspiriert von Problemen aus realen Arbeitsabläufen. Jede Aufgabe verfügt über eine einzigartige Umgebung, eine von Menschen erstellte Lösung und umfassende Tests zur Verifikation. Wir zeigen, dass hoch entwickelte Modelle und Agenten auf diesem Benchmark weniger als 65 % erreichen, und führen eine Fehleranalyse durch, um Verbesserungspotenziale für Modelle und Agenten zu identifizieren. Wir veröffentlichen den Datensatz und die Evaluierungsinfrastruktur, um Entwickler und Forscher bei zukünftigen Arbeiten zu unterstützen, unter https://www.tbench.ai/.
English
AI agents may soon become capable of autonomously completing valuable, long-horizon tasks in diverse domains. Current benchmarks either do not measure real-world tasks, or are not sufficiently difficult to meaningfully measure frontier models. To this end, we present Terminal-Bench 2.0: a carefully curated hard benchmark composed of 89 tasks in computer terminal environments inspired by problems from real workflows. Each task features a unique environment, human-written solution, and comprehensive tests for verification. We show that frontier models and agents score less than 65\% on the benchmark and conduct an error analysis to identify areas for model and agent improvement. We publish the dataset and evaluation harness to assist developers and researchers in future work at https://www.tbench.ai/ .