Терминальный ключ: набор данных из 331 среды, уязвимой для взлома вознаграждений, и 3 632 траекторий эксплуатации

Terminal Wrench: A Dataset of 331 Reward-Hackable Environments and 3,632 Exploit Trajectories

April 19, 2026

Авторы: Ivan Bercovich, Ivgeni Segal, Kexun Zhang, Shashwat Saxena, Aditi Raghunathan, Ziqian Zhong

cs.AI

Аннотация

Мы представляем Terminal Wrench — набор из 331 тестовой среды для терминальных агентов, заимствованный из популярных открытых бенчмарков, которые демонстративно уязвимы к взлому систем вознаграждения. Набор данных включает 3 632 траектории взлома и 2 352 легитимные базовые траектории, полученные на трех передовых моделях (Claude Opus 4.6, Gemini 3.1 Pro, GPT-5.4). Каждая запись сохраняет оригинальное условие задачи вместе с полными траекториями атаки, показывающими, как был обойден верификатор. Также включены случаи, когда задача не была решена предусмотренным способом. Задачи охватывают системное администрирование, машинное обучение, разработку программного обеспечения и задачи безопасности; эксплойты варьируются от простой подмены вывода до интроспекции стека, модификации стандартных библиотек и перехвата управления бинарными файлами на уровне руткитов. Ключевым моментом является то, что эти эксплойты специфичны для каждой задачи, а не для системы оценки, что затрудняет их исправление. Мы также представляем исследование мониторинга, в котором траектории взлома очищаются или лишаются трасс рассуждений, а затем оцениваются LLM-судией, показывая, что обнаружение значительно ухудшается при удалении цепочки рассуждений (AUC падает с 0.97 до 0.92). Набор данных общедоступен по адресу https://github.com/few-sh/terminal-wrench.

English

We release Terminal Wrench, a subset of 331 terminal-agent benchmark environments, copied from the popular open benchmarks that are demonstrably reward-hackable. The data set includes 3,632 hack trajectories and 2,352 legitimate baseline trajectories across three frontier models (Claude Opus 4.6, Gemini 3.1 Pro, GPT-5.4). Each entry preserves the original task definition alongside full attack trajectories that show how the verifier was bypassed. It also includes cases where the task was not solved as intended. The tasks span system administration, machine learning, software engineering, and security challenges; the exploits range from simple output spoofing to stack-frame introspection, standard-library patching, and rootkit-style binary hijacking. Crucially, these exploits are specific to each task, rather than the evaluation harness, making them harder to patch. We also present a monitorability study in which hack trajectories are sanitized or stripped of reasoning traces and then scored by an LLM judge, showing that detection degrades meaningfully when chain-of-thought is removed (AUC drops from 0.97 to 0.92). The data set is publicly available at https://github.com/few-sh/terminal-wrench.