Detecção de Dados de Treinamento RLVR por Meio da Convergência Estrutural do Raciocínio
Detecting RLVR Training Data via Structural Convergence of Reasoning
February 12, 2026
Autores: Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang
cs.AI
Resumo
O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) é fundamental para o treinamento de modelos modernos de raciocínio, mas os dados de treinamento não divulgados levantam preocupações sobre a contaminação de benchmarks. Diferente dos métodos de pré-treinamento, que otimizam modelos usando probabilidades em nível de token, o RLVR ajusta modelos com base no feedback de recompensa proveniente de trajetórias de raciocínio autogeradas, tornando os métodos convencionais de detecção baseados em verossimilhança menos eficazes. Demonstramos que o RLVR induz uma assinatura comportamental distintiva: prompts encontrados durante o treinamento RLVR resultam em gerações mais rígidas e similares, enquanto prompts não vistos mantêm maior diversidade. Introduzimos o Min-kNN Distance, um detector simples de caixa preta que quantifica esse colapso amostrando múltiplas conclusões para um prompt dado e calculando a média dos k menores distâncias de edição entre vizinhos mais próximos. O Min-kNN Distance não requer acesso ao modelo de referência ou às probabilidades de token. Experimentos com diversos modelos de raciocínio treinados com RLVR mostram que o Min-kNN Distance distingue de forma confiável exemplos vistos durante o RL daqueles não vistos e supera os baselines existentes de inferência de associação e detecção de contaminação por RL.
English
Reinforcement learning with verifiable rewards (RLVR) is central to training modern reasoning models, but the undisclosed training data raises concerns about benchmark contamination. Unlike pretraining methods, which optimize models using token-level probabilities, RLVR fine-tunes models based on reward feedback from self-generated reasoning trajectories, making conventional likelihood-based detection methods less effective. We show that RLVR induces a distinctive behavioral signature: prompts encountered during RLVR training result in more rigid and similar generations, while unseen prompts retain greater diversity. We introduce Min-kNN Distance, a simple black-box detector that quantifies this collapse by sampling multiple completions for a given prompt and computing the average of the k smallest nearest-neighbor edit distances. Min-kNN Distance requires no access to the reference model or token probabilities. Experiments across multiple RLVR-trained reasoning models show that Min-kNN Distance reliably distinguishes RL-seen examples from unseen ones and outperforms existing membership inference and RL contamination detection baselines.