Rilevamento dei Dati di Addestramento RLVR tramite Convergenza Strutturale del Ragionamento
Detecting RLVR Training Data via Structural Convergence of Reasoning
February 12, 2026
Autori: Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang
cs.AI
Abstract
L'apprendimento per rinforzo con ricompense verificabili (RLVR) è fondamentale per l'addestramento dei moderni modelli di ragionamento, ma la natura non divulgata dei dati di addestramento solleva preoccupazioni riguardo alla contaminazione dei benchmark. A differenza dei metodi di pre-addestramento, che ottimizzano i modelli utilizzando probabilità a livello di token, l'RLVR affina i modelli sulla base del feedback di ricompensa proveniente da traiettorie di ragionamento auto-generate, rendendo meno efficaci i convenzionali metodi di rilevamento basati sulla verosimiglianza. Dimostriamo che l'RLVR induce una firma comportamentale distintiva: i prompt incontrati durante l'addestramento RLVR producono generazioni più rigide e simili, mentre i prompt non visti mantengono una maggiore diversità. Introduciamo Min-kNN Distance, un semplice rilevatore di tipo black-box che quantifica questo collasso campionando più completamenti per un dato prompt e calcolando la media delle k più piccole distanze di edit dei vicini più prossimi. Min-kNN Distance non richiede l'accesso al modello di riferimento né alle probabilità dei token. Esperimenti condotti su molteplici modelli di ragionamento addestrati con RLVR mostrano che Min-kNN Distance distingue in modo affidabile gli esempi visti durante l'RL da quelli non visti e supera le baseline esistenti per l'inferenza di appartenenza e il rilevamento della contaminazione da RL.
English
Reinforcement learning with verifiable rewards (RLVR) is central to training modern reasoning models, but the undisclosed training data raises concerns about benchmark contamination. Unlike pretraining methods, which optimize models using token-level probabilities, RLVR fine-tunes models based on reward feedback from self-generated reasoning trajectories, making conventional likelihood-based detection methods less effective. We show that RLVR induces a distinctive behavioral signature: prompts encountered during RLVR training result in more rigid and similar generations, while unseen prompts retain greater diversity. We introduce Min-kNN Distance, a simple black-box detector that quantifies this collapse by sampling multiple completions for a given prompt and computing the average of the k smallest nearest-neighbor edit distances. Min-kNN Distance requires no access to the reference model or token probabilities. Experiments across multiple RLVR-trained reasoning models show that Min-kNN Distance reliably distinguishes RL-seen examples from unseen ones and outperforms existing membership inference and RL contamination detection baselines.