Detección de Datos de Entrenamiento RLVR mediante la Convergencia Estructural del Razonamiento
Detecting RLVR Training Data via Structural Convergence of Reasoning
February 12, 2026
Autores: Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang
cs.AI
Resumen
El aprendizaje por refuerzo con recompensas verificables (RLVR) es fundamental para entrenar modelos de razonamiento modernos, pero los datos de entrenamiento no divulgados generan preocupación sobre la contaminación de benchmarks. A diferencia de los métodos de preentrenamiento, que optimizan modelos utilizando probabilidades a nivel de token, RLVR ajusta modelos basándose en retroalimentación de recompensa proveniente de trayectorias de razonamiento autogeneradas, lo que hace que los métodos de detección convencionales basados en verosimilitud sean menos efectivos. Demostramos que RLVR induce una firma conductual distintiva: los prompts encontrados durante el entrenamiento con RLVR resultan en generaciones más rígidas y similares, mientras que los prompts no vistos conservan una mayor diversidad. Introducimos Min-kNN Distance, un detector simple de caja negra que cuantifica este colapso muestreando múltiples completamientos para un prompt dado y calculando el promedio de las k distancias de edición de vecinos más cercanos más pequeñas. Min-kNN Distance no requiere acceso al modelo de referencia ni a las probabilidades de token. Experimentos en múltiples modelos de razonamiento entrenados con RLVR muestran que Min-kNN Distance distingue de manera confiable ejemplos vistos durante RL de los no vistos, y supera a los baselines existentes de inferencia de membresía y detección de contaminación por RL.
English
Reinforcement learning with verifiable rewards (RLVR) is central to training modern reasoning models, but the undisclosed training data raises concerns about benchmark contamination. Unlike pretraining methods, which optimize models using token-level probabilities, RLVR fine-tunes models based on reward feedback from self-generated reasoning trajectories, making conventional likelihood-based detection methods less effective. We show that RLVR induces a distinctive behavioral signature: prompts encountered during RLVR training result in more rigid and similar generations, while unseen prompts retain greater diversity. We introduce Min-kNN Distance, a simple black-box detector that quantifies this collapse by sampling multiple completions for a given prompt and computing the average of the k smallest nearest-neighbor edit distances. Min-kNN Distance requires no access to the reference model or token probabilities. Experiments across multiple RLVR-trained reasoning models show that Min-kNN Distance reliably distinguishes RL-seen examples from unseen ones and outperforms existing membership inference and RL contamination detection baselines.