Benchmarking de la Détection de Piratage de Récompenses dans les Environnements de Code via l'Analyse Contrastive
Benchmarking Reward Hack Detection in Code Environments via Contrastive Analysis
January 27, 2026
papers.authors: Darshan Deshpande, Anand Kannappan, Rebecca Qian
cs.AI
papers.abstract
Les progrès récents en apprentissage par renforcement pour la génération de code ont rendu les environnements robustes essentiels pour prévenir le détournement de récompense. Alors que les LLM servent de plus en plus d'évaluateurs dans l'apprentissage par renforcement basé sur le code, leur capacité à détecter ce détournement reste peu étudiée. Dans cet article, nous proposons une nouvelle taxonomie des exploits de récompense couvrant 54 catégories et présentons TRACE (Testing Reward Anomalies in Code Environments), un benchmark synthétiquement constitué et vérifié par des humains contenant 517 trajectoires de test. Contrairement aux travaux antérieurs qui évaluent la détection des détournements dans des scénarios de classification isolés, nous contrastons ces évaluations avec une configuration plus réaliste de détection d'anomalies contrastives sur TRACE. Nos expériences révèlent que les modèles capturent plus efficacement les détournements dans des contextes contrastifs que dans des paramètres de classification isolés, GPT-5.2 avec le mode de raisonnement le plus élevé atteignant le meilleur taux de détection à 63 %, contre 45 % dans des configurations isolées sur TRACE. Sur cette base, nous démontrons que les modèles de pointe éprouvent nettement plus de difficultés avec les détournements sémantiquement contextualisés qu'avec ceux syntaxiquement contextualisés. Nous menons en outre des analyses qualitatives des comportements des modèles, ainsi que des études d'ablation montrant que le ratio des trajectoires bénignes aux trajectoires piratées et la taille des clusters d'analyse impactent significativement les performances de détection. Nous publions le benchmark et son cadre d'évaluation pour permettre à la communauté d'étendre TRACE et d'évaluer ses modèles.
English
Recent advances in reinforcement learning for code generation have made robust environments essential to prevent reward hacking. As LLMs increasingly serve as evaluators in code-based RL, their ability to detect reward hacking remains understudied. In this paper, we propose a novel taxonomy of reward exploits spanning across 54 categories and introduce TRACE (Testing Reward Anomalies in Code Environments), a synthetically curated and human-verified benchmark containing 517 testing trajectories. Unlike prior work that evaluates reward hack detection in isolated classification scenarios, we contrast these evaluations with a more realistic, contrastive anomaly detection setup on TRACE. Our experiments reveal that models capture reward hacks more effectively in contrastive settings than in isolated classification settings, with GPT-5.2 with highest reasoning mode achieving the best detection rate at 63%, up from 45% in isolated settings on TRACE. Building on this insight, we demonstrate that state-of-the-art models struggle significantly more with semantically contextualized reward hacks compared to syntactically contextualized ones. We further conduct qualitative analyses of model behaviors, as well as ablation studies showing that the ratio of benign to hacked trajectories and analysis cluster sizes substantially impact detection performance. We release the benchmark and evaluation harness to enable the community to expand TRACE and evaluate their models.