Evaluación Comparativa de la Detección de Manipulación de Recompensas en Entornos de Código mediante Análisis Contrastivo

Benchmarking Reward Hack Detection in Code Environments via Contrastive Analysis

January 27, 2026

Autores: Darshan Deshpande, Anand Kannappan, Rebecca Qian

cs.AI

Resumen

Los recientes avances en el aprendizaje por refuerzo para la generación de código han hecho que los entornos robustos sean esenciales para prevenir la manipulación de recompensas. A medida que los LLM actúan cada vez más como evaluadores en el RL basado en código, su capacidad para detectar esta manipulación sigue sin estudiarse en profundidad. En este artículo, proponemos una novedosa taxonomía de exploits de recompensa que abarca 54 categorías y presentamos TRACE (Pruebas de Anomalías de Recompensa en Entornos de Código), un benchmark sintéticamente curado y verificado por humanos que contiene 517 trayectorias de prueba. A diferencia de trabajos anteriores que evalúan la detección de manipulación en escenarios de clasificación aislada, contrastamos estas evaluaciones con una configuración más realista de detección de anomalías contrastiva en TRACE. Nuestros experimentos revelan que los modelos capturan las manipulaciones de recompensa de manera más efectiva en entornos contrastivos que en escenarios de clasificación aislada, con GPT-5.2 en su modo de razonamiento más alto logrando la mejor tasa de detección en un 63%, frente al 45% en configuraciones aisladas en TRACE. Partiendo de esta idea, demostramos que los modelos de última generación tienen significativamente más dificultades con las manipulaciones de recompensa contextualizadas semánticamente en comparación con las contextualizadas sintácticamente. Además, realizamos análisis cualitativos de los comportamientos del modelo, así como estudios de ablación que muestran que la proporción de trayectorias benignas frente a manipuladas y el tamaño de los clusters de análisis impactan sustancialmente en el rendimiento de la detección. Publicamos el benchmark y el entorno de evaluación para permitir a la comunidad expandir TRACE y evaluar sus modelos.

English

Recent advances in reinforcement learning for code generation have made robust environments essential to prevent reward hacking. As LLMs increasingly serve as evaluators in code-based RL, their ability to detect reward hacking remains understudied. In this paper, we propose a novel taxonomy of reward exploits spanning across 54 categories and introduce TRACE (Testing Reward Anomalies in Code Environments), a synthetically curated and human-verified benchmark containing 517 testing trajectories. Unlike prior work that evaluates reward hack detection in isolated classification scenarios, we contrast these evaluations with a more realistic, contrastive anomaly detection setup on TRACE. Our experiments reveal that models capture reward hacks more effectively in contrastive settings than in isolated classification settings, with GPT-5.2 with highest reasoning mode achieving the best detection rate at 63%, up from 45% in isolated settings on TRACE. Building on this insight, we demonstrate that state-of-the-art models struggle significantly more with semantically contextualized reward hacks compared to syntactically contextualized ones. We further conduct qualitative analyses of model behaviors, as well as ablation studies showing that the ratio of benign to hacked trajectories and analysis cluster sizes substantially impact detection performance. We release the benchmark and evaluation harness to enable the community to expand TRACE and evaluate their models.