Long-Horizon-Terminal-Bench: Testen der Grenzen von Agenten bei langfristigen Terminalaufgaben mit dichter belohnungsbasierter Bewertung

Zusammenfassung

KI-Agenten sind inzwischen in der Lage, kurze, klar definierte Aufgaben selbstständig zu erledigen. Bestehende Terminal-Benchmarks konzentrieren sich jedoch weitgehend auf einfache Probleme, die innerhalb von Minuten abgeschlossen sind und nur anhand ihres Endergebnisses bewertet werden. Dieser Ansatz übersieht Zwischenfortschritte und Teillösungen, was zu spärlichen Belohnungssignalen und einem unvollständigen Bild der Fähigkeiten des Agenten führt. Wir stellen Long-Horizon-Terminal-Bench vor, einen Terminal-Benchmark mit 46 langfristigen Aufgaben aus neun Kategorien, darunter Experimentreproduktion, Softwareentwicklung, multimodale Analyse, interaktive Spiele und wissenschaftliches Rechnen. Jede Aufgabe folgt einem Terminal-Bench-artigen Aufbau mit einer Referenzlösung oder Simulationsengine, ist jedoch weiter in fein abgestufte Teilaufgaben unterteilt. Dieses Design ermöglicht dichte Zwischenbelohnungen und Teilpunkte, sodass die Bewertung nicht nur erfasst, ob ein Agent das Endziel erreicht, sondern auch, wie weit er in offenen Arbeitsabläufen vorankommt. Aufgaben in Long-Horizon-Terminal-Bench erfordern typischerweise Hunderte von Episoden und Minuten bis Stunden an Ausführungszeit, wobei langfristige Planung, Verwaltung langer Kontexte und iteratives Debugging im Vordergrund stehen und nicht die einmalige Problemlösung. Wir evaluieren 15 Spitzenmodelle und stellen fest, dass Agenten im Durchschnitt 9,9 Millionen Tokens pro Aufgabe verbrauchen, mit etwa 231 Episoden und 85,3 Minuten Ausführungszeit pro Durchlauf, was Long-Horizon-Terminal-Bench anspruchsvoller macht als frühere Terminal-Benchmarks. Selbst das stärkste getestete Modell erreicht eine pass@1-Rate von 15,2 % bei einer Teilleistungsschwelle von 0,95 und 10,9 % bei einer perfekten Belohnungsschwelle von 1,0, während die mittlere Bestehensrate über alle Modelle hinweg bei 4,3 % bzw. 1,7 % unter den beiden Schwellenwerten liegt. Diese Ergebnisse zeigen Spielraum für Verbesserungen. Wir analysieren zudem Fehlermodi und Fehlermuster und veröffentlichen Long-Horizon-Terminal-Bench, um zukünftige Fortschritte bei langfristigen Terminal-Agenten zu unterstützen.

English

AI agents have become capable of autonomously completing short, well-specified tasks. However, existing terminal benchmarks largely focus on simple problems that finish within minutes and are evaluated only by their final outcome. This setup overlooks intermediate progress and partial solutions, yielding sparse reward signals and an incomplete picture of agent capability. We introduce Long-Horizon-Terminal-Bench, a terminal benchmark of 46 long-horizon tasks spanning nine categories, including experiment reproduction, software engineering, multimodal analysis, interactive games, and scientific computing. Each task follows a Terminal-Bench-style setup with a reference solution or simulation engine, but is further decomposed into fine-grained graded subtasks. This design enables dense intermediate rewards and partial credit, allowing evaluation to capture not only whether an agent reaches the final goal, but also how far it progresses on open-ended workflows. Tasks in Long-Horizon-Terminal-Bench typically require hundreds of episodes and minutes to hours of execution, stressing long-horizon planning, long-context management, and iterative debugging rather than one-shot problem solving. We evaluate 15 frontier models and find that agents consume on average 9.9M tokens per task, with roughly 231 episodes and 85.3 minutes of execution time per run, making Long-Horizon-Terminal-Bench more demanding than prior terminal-based benchmarks. Even the strongest tested model achieves 15.2% pass@1 at a partial-reward threshold of 0.95 and 10.9% at a perfect-reward threshold of 1.0, while the mean pass rate across models is 4.3% and 1.7% under the two thresholds, respectively. These results reveal headroom for improvement. We further analyze failure modes and error patterns, and release Long-Horizon-Terminal-Bench to support future progress on long-horizon terminal agents.