Analisi Comparativa per il Rilevamento di Manipolazioni dei Sistemi di Ricompensa negli Ambienti di Codice
Benchmarking Reward Hack Detection in Code Environments via Contrastive Analysis
January 27, 2026
Autori: Darshan Deshpande, Anand Kannappan, Rebecca Qian
cs.AI
Abstract
I recenti progressi nell'apprendimento per rinforzo per la generazione di codice hanno reso gli ambienti robusti essenziali per prevenire il reward hacking. Poiché i modelli linguistici di grandi dimensioni (LLM) fungono sempre più da valutatori nell'RL basato sul codice, la loro capacità di rilevare il reward hacking rimane poco studiata. In questo articolo, proponiamo una nuova tassonomia degli exploit di ricompensa che si estende su 54 categorie e introduciamo TRACE (Testing Reward Anomalies in Code Environments), un benchmark curato sinteticamente e verificato da esseri umani, contenente 517 traiettorie di test. A differenza dei lavori precedenti che valutano il rilevamento di reward hack in scenari di classificazione isolati, confrontiamo queste valutazioni con una configurazione più realistica di rilevamento di anomalie contrastive su TRACE. I nostri esperimenti rivelano che i modelli catturano i reward hack in modo più efficace in contesti contrastivi rispetto a contesti di classificazione isolati, con GPT-5.2 nella modalità di ragionamento più elevata che raggiunge il miglior tasso di rilevamento al 63%, rispetto al 45% in contesti isolati su TRACE. Basandoci su questa intuizione, dimostriamo che i modelli all'avanguardia hanno difficoltà significativamente maggiori con i reward hack contestualizzati semanticamente rispetto a quelli contestualizzati sintatticamente. Inoltre, conduciamo analisi qualitative dei comportamenti del modello, nonché studi di ablazione che mostrano come il rapporto tra traiettorie benigne e hackerate e le dimensioni dei cluster di analisi influenzino sostanzialmente le prestazioni di rilevamento. Rilasciamo il benchmark e l'infrastruttura di valutazione per consentire alla comunità di espandere TRACE e valutare i propri modelli.
English
Recent advances in reinforcement learning for code generation have made robust environments essential to prevent reward hacking. As LLMs increasingly serve as evaluators in code-based RL, their ability to detect reward hacking remains understudied. In this paper, we propose a novel taxonomy of reward exploits spanning across 54 categories and introduce TRACE (Testing Reward Anomalies in Code Environments), a synthetically curated and human-verified benchmark containing 517 testing trajectories. Unlike prior work that evaluates reward hack detection in isolated classification scenarios, we contrast these evaluations with a more realistic, contrastive anomaly detection setup on TRACE. Our experiments reveal that models capture reward hacks more effectively in contrastive settings than in isolated classification settings, with GPT-5.2 with highest reasoning mode achieving the best detection rate at 63%, up from 45% in isolated settings on TRACE. Building on this insight, we demonstrate that state-of-the-art models struggle significantly more with semantically contextualized reward hacks compared to syntactically contextualized ones. We further conduct qualitative analyses of model behaviors, as well as ablation studies showing that the ratio of benign to hacked trajectories and analysis cluster sizes substantially impact detection performance. We release the benchmark and evaluation harness to enable the community to expand TRACE and evaluate their models.