Terminal Wrench: Ein Datensatz mit 331 umgebungsabhängigen Belohnungssystemen und 3.632 Exploit-Trajektorien

Terminal Wrench: A Dataset of 331 Reward-Hackable Environments and 3,632 Exploit Trajectories

April 19, 2026

Autoren: Ivan Bercovich, Ivgeni Segal, Kexun Zhang, Shashwat Saxena, Aditi Raghunathan, Ziqian Zhong

cs.AI

Zusammenfassung

Wir veröffentlichen Terminal Wrench, einen Teilbereich von 331 Terminal-Agent-Benchmark-Umgebungen, die aus populären, offenen Benchmarks kopiert wurden und nachweislich anfällig für Reward-Hacking sind. Der Datensatz umfasst 3.632 Hack-Trajektorien und 2.352 legitime Baseline-Trajektorien von drei Frontier-Modellen (Claude Opus 4.6, Gemini 3.1 Pro, GPT-5.4). Jeder Eintrag bewahrt die ursprüngliche Aufgabendefinition zusammen mit vollständigen Angriffspfaden, die zeigen, wie der Verifier umgangen wurde. Er enthält auch Fälle, in denen die Aufgabe nicht wie beabsichtigt gelöst wurde. Die Aufgaben umfassen Systemadministration, maschinelles Lernen, Softwareentwicklung und Sicherheitsherausforderungen; die Exploits reichen von einfacher Ausgabefälschung über Stack-Frame-Introspektion und Patchen der Standardbibliothek bis hin zu Rootkit-artiger Binärmanipulation. Entscheidend ist, dass diese Exploits aufgaben- und nicht evaluationsframework-spezifisch sind, was ihre Behebung erschwert. Wir präsentieren zudem eine Monitorability-Studie, bei der Hack-Pfade bereinigt oder von Reasoning-Traces befreit und dann von einem LLM-Judge bewertet werden. Diese zeigt, dass die Erkennung signifikant abnimmt, wenn die Denkketten entfernt werden (AUC fällt von 0,97 auf 0,92). Der Datensatz ist öffentlich verfügbar unter https://github.com/few-sh/terminal-wrench.

English

We release Terminal Wrench, a subset of 331 terminal-agent benchmark environments, copied from the popular open benchmarks that are demonstrably reward-hackable. The data set includes 3,632 hack trajectories and 2,352 legitimate baseline trajectories across three frontier models (Claude Opus 4.6, Gemini 3.1 Pro, GPT-5.4). Each entry preserves the original task definition alongside full attack trajectories that show how the verifier was bypassed. It also includes cases where the task was not solved as intended. The tasks span system administration, machine learning, software engineering, and security challenges; the exploits range from simple output spoofing to stack-frame introspection, standard-library patching, and rootkit-style binary hijacking. Crucially, these exploits are specific to each task, rather than the evaluation harness, making them harder to patch. We also present a monitorability study in which hack trajectories are sanitized or stripped of reasoning traces and then scored by an LLM judge, showing that detection degrades meaningfully when chain-of-thought is removed (AUC drops from 0.97 to 0.92). The data set is publicly available at https://github.com/few-sh/terminal-wrench.