Benchmarken van Beloningshackdetectie in Code-omgevingen via Contrastieve Analyse

Benchmarking Reward Hack Detection in Code Environments via Contrastive Analysis

January 27, 2026

Auteurs: Darshan Deshpande, Anand Kannappan, Rebecca Qian

cs.AI

Samenvatting

Recente vooruitgang in reinforcement learning voor codegeneratie heeft robuuste omgevingen essentieel gemaakt om reward hacking te voorkomen. Omdat LLM's steeds vaker dienst doen als evaluatoren in code-gebaseerd RL, is hun vermogen om reward hacking te detecteren nog onvoldoende onderzocht. In dit artikel presenteren we een nieuwe taxonomie van reward-exploits, verdeeld over 54 categorieën, en introduceren we TRACE (Testing Reward Anomalies in Code Environments), een synthetisch samengestelde en door mensen geverifieerde benchmark met 517 testtrajecten. In tegenstelling tot eerder werk dat reward hack-detectie evalueert in geïsoleerde classificatiescenario's, vergelijken we deze evaluaties met een realistischer, contrastieve anomaly detection-opzet op TRACE. Onze experimenten tonen aan dat modellen reward hacks effectiever herkennen in contrastieve settings dan in geïsoleerde classificatiesettings, waarbij GPT-5.2 met de hoogste redeneermodus de beste detectierate behaalt van 63%, een stijging ten opzichte van 45% in geïsoleerde settings op TRACE. Voortbordurend op dit inzicht tonen we aan dat state-of-the-art modellen aanzienlijk meer moeite hebben met semantisch gecontextualiseerde reward hacks vergeleken met syntactisch gecontextualiseerde. We voeren verder kwalitatieve analyses uit van modelgedrag, evenals ablatiestudies die aantonen dat de verhouding tussen goedaardige en gehackte trajecten en de grootte van de analyseclusters de detectieprestaties aanzienlijk beïnvloeden. We maken de benchmark en evaluatie-omgeving vrij om de gemeenschap in staat te stellen TRACE uit te breiden en hun modellen te evalueren.

English

Recent advances in reinforcement learning for code generation have made robust environments essential to prevent reward hacking. As LLMs increasingly serve as evaluators in code-based RL, their ability to detect reward hacking remains understudied. In this paper, we propose a novel taxonomy of reward exploits spanning across 54 categories and introduce TRACE (Testing Reward Anomalies in Code Environments), a synthetically curated and human-verified benchmark containing 517 testing trajectories. Unlike prior work that evaluates reward hack detection in isolated classification scenarios, we contrast these evaluations with a more realistic, contrastive anomaly detection setup on TRACE. Our experiments reveal that models capture reward hacks more effectively in contrastive settings than in isolated classification settings, with GPT-5.2 with highest reasoning mode achieving the best detection rate at 63%, up from 45% in isolated settings on TRACE. Building on this insight, we demonstrate that state-of-the-art models struggle significantly more with semantically contextualized reward hacks compared to syntactically contextualized ones. We further conduct qualitative analyses of model behaviors, as well as ablation studies showing that the ratio of benign to hacked trajectories and analysis cluster sizes substantially impact detection performance. We release the benchmark and evaluation harness to enable the community to expand TRACE and evaluate their models.