Detectie van RLVR-trainingsgegevens via structurele convergentie van redenering
Detecting RLVR Training Data via Structural Convergence of Reasoning
February 12, 2026
Auteurs: Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang
cs.AI
Samenvatting
Versterkend leren met verifieerbare beloningen (RLVR) staat centraal bij het trainen van moderne redeneermodellen, maar de niet-openbaar gemaakte trainingsdata roept vragen op over benchmarkvervuiling. In tegenstelling tot vooraf trainen (pretraining) methoden, waarbij modellen worden geoptimaliseerd met behulp van token-level waarschijnlijkheden, verfijnt RLVR modellen op basis van beloningsfeedback gegenereerd uit zelf-gegenereerde redeneertrajecten. Dit maakt conventionele detectiemethoden op basis van waarschijnlijkheid minder effectief. Wij tonen aan dat RLVR een onderscheidend gedragssignatuur induceert: prompts die tijdens RLVR-training worden tegengekomen resulteren in rigide en meer uniforme gegenereerde outputs, terwijl ongeziene prompts een grotere diversiteit behouden. Wij introduceren Min-kNN Afstand, een eenvoudige black-box detector die deze ineenstorting kwantificeert door meerdere voltooiingen voor een gegeven prompt te bemonsteren en het gemiddelde te berekenen van de k kleinste nearest-neighbor bewerkingsafstanden. Min-kNN Afstand vereist geen toegang tot het referentiemodel of tokenwaarschijnlijkheden. Experimenten met meerdere RLVR-getrainde redeneermodellen tonen aan dat Min-kNN Afstand betrouwbaar RL-geziene voorbeelden kan onderscheiden van ongeziene, en beter presteert dan bestaande lidmaatschapsinferentie- en RL-vervuilingsdetectie-baselines.
English
Reinforcement learning with verifiable rewards (RLVR) is central to training modern reasoning models, but the undisclosed training data raises concerns about benchmark contamination. Unlike pretraining methods, which optimize models using token-level probabilities, RLVR fine-tunes models based on reward feedback from self-generated reasoning trajectories, making conventional likelihood-based detection methods less effective. We show that RLVR induces a distinctive behavioral signature: prompts encountered during RLVR training result in more rigid and similar generations, while unseen prompts retain greater diversity. We introduce Min-kNN Distance, a simple black-box detector that quantifies this collapse by sampling multiple completions for a given prompt and computing the average of the k smallest nearest-neighbor edit distances. Min-kNN Distance requires no access to the reference model or token probabilities. Experiments across multiple RLVR-trained reasoning models show that Min-kNN Distance reliably distinguishes RL-seen examples from unseen ones and outperforms existing membership inference and RL contamination detection baselines.