Benchmarking der Erkennung von Reward Hacks in Code-Umgebungen durch kontrastive Analyse
Benchmarking Reward Hack Detection in Code Environments via Contrastive Analysis
January 27, 2026
papers.authors: Darshan Deshpande, Anand Kannappan, Rebecca Qian
cs.AI
papers.abstract
Jüngste Fortschritte im Reinforcement Learning für die Codegenerierung haben robuste Umgebungen unerlässlich gemacht, um Reward Hacking zu verhindern. Da LLMs zunehmend als Bewerter in codebasiertem RL eingesetzt werden, ist ihre Fähigkeit, Reward Hacking zu erkennen, noch unzureichend erforscht. In diesem Artikel schlagen wir eine neuartige Taxonomie von Reward-Exploits vor, die 54 Kategorien umspannt, und stellen TRACE (Testing Reward Anomalies in Code Environments) vor, einen synthetisch erstellten und human-verifizierten Benchmark mit 517 Testtrajektorien. Im Gegensatz zu früheren Arbeiten, die die Erkennung von Reward Hacks in isolierten Klassifikationsszenarien evaluieren, kontrastieren wir diese Evaluationen mit einem realistischeren, kontrastiven Anomalieerkennungsaufbau auf TRACE. Unsere Experimente zeigen, dass Modelle Reward Hacks in kontrastiven Settings effektiver erfassen als in isolierten Klassifikationssettings, wobei GPT-5.2 im höchsten Reasoning-Modus die beste Erkennungsrate von 63 % erzielt, verglichen mit 45 % in isolierten Settings auf TRACE. Aufbauend auf dieser Erkenntnis zeigen wir, dass state-of-the-art Modelle erheblich größere Schwierigkeiten mit semantisch kontextualisierten Reward Hacks haben als mit syntaktisch kontextualisierten. Wir führen weiterhin qualitative Analysen des Modellverhaltens sowie Ablationsstudien durch, die zeigen, dass das Verhältnis von benignen zu gehackten Trajektorien und die Größe der Analysecluster die Erkennungsleistung erheblich beeinflussen. Wir veröffentlichen den Benchmark und die Evaluierungs-Harness, um der Community zu ermöglichen, TRACE zu erweitern und ihre Modelle zu evaluieren.
English
Recent advances in reinforcement learning for code generation have made robust environments essential to prevent reward hacking. As LLMs increasingly serve as evaluators in code-based RL, their ability to detect reward hacking remains understudied. In this paper, we propose a novel taxonomy of reward exploits spanning across 54 categories and introduce TRACE (Testing Reward Anomalies in Code Environments), a synthetically curated and human-verified benchmark containing 517 testing trajectories. Unlike prior work that evaluates reward hack detection in isolated classification scenarios, we contrast these evaluations with a more realistic, contrastive anomaly detection setup on TRACE. Our experiments reveal that models capture reward hacks more effectively in contrastive settings than in isolated classification settings, with GPT-5.2 with highest reasoning mode achieving the best detection rate at 63%, up from 45% in isolated settings on TRACE. Building on this insight, we demonstrate that state-of-the-art models struggle significantly more with semantically contextualized reward hacks compared to syntactically contextualized ones. We further conduct qualitative analyses of model behaviors, as well as ablation studies showing that the ratio of benign to hacked trajectories and analysis cluster sizes substantially impact detection performance. We release the benchmark and evaluation harness to enable the community to expand TRACE and evaluate their models.