Detektion von RLVR-Trainingsdaten durch strukturelle Konvergenz des Denkprozesses
Detecting RLVR Training Data via Structural Convergence of Reasoning
February 12, 2026
papers.authors: Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang
cs.AI
papers.abstract
Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ist zentral für das Training moderner Reasoning-Modelle, doch nicht offengelegte Trainingsdaten werfen Bedenken hinsichtlich Benchmark-Kontamination auf. Im Gegensatz zu Pre-training-Methoden, die Modelle anhand von Token-Wahrscheinlichkeiten optimieren, feintunt RLVR Modelle auf der Grundlage von Belohnungsrückmeldungen aus selbstgenerierten Reasoning-Pfaden, was konventionelle, auf Likelihood basierende Erkennungsmethoden weniger effektiv macht. Wir zeigen, dass RLVR ein charakteristisches Verhaltensmuster induziert: Prompts, die während des RLVR-Trainings auftraten, führen zu rigideren und ähnlicheren Generationen, während ungesehene Prompts eine größere Diversität beibehalten. Wir führen Min-kNN-Distanz ein, einen einfachen Black-Box-Detektor, der diesen Kollaps quantifiziert, indem er mehrere Vervollständigungen für einen gegebenen Prompt sampelt und den Durchschnitt der k kleinsten nächster-Nachbar-Editierdistanzen berechnet. Min-kNN-Distanz erfordert weder Zugriff auf das Referenzmodell noch auf Token-Wahrscheinlichkeiten. Experimente mit verschiedenen RLVR-trainierten Reasoning-Modellen zeigen, dass Min-kNN-Distanz zuverlässig RL-gesehene Beispiele von ungesehenen unterscheidet und existierende Baseline-Methoden für Membership Inference und RL-Kontaminationserkennung übertrifft.
English
Reinforcement learning with verifiable rewards (RLVR) is central to training modern reasoning models, but the undisclosed training data raises concerns about benchmark contamination. Unlike pretraining methods, which optimize models using token-level probabilities, RLVR fine-tunes models based on reward feedback from self-generated reasoning trajectories, making conventional likelihood-based detection methods less effective. We show that RLVR induces a distinctive behavioral signature: prompts encountered during RLVR training result in more rigid and similar generations, while unseen prompts retain greater diversity. We introduce Min-kNN Distance, a simple black-box detector that quantifies this collapse by sampling multiple completions for a given prompt and computing the average of the k smallest nearest-neighbor edit distances. Min-kNN Distance requires no access to the reference model or token probabilities. Experiments across multiple RLVR-trained reasoning models show that Min-kNN Distance reliably distinguishes RL-seen examples from unseen ones and outperforms existing membership inference and RL contamination detection baselines.