CEPO: Autodestilação RLVR utilizando Otimização de Política de Evidência Contrastiva

Resumo

Quando um modelo produz uma solução correta sob aprendizado por reforço com recompensas verificáveis (RLVR), cada token recebe o mesmo sinal de recompensa, independentemente de ser uma etapa de raciocínio decisiva ou um preenchimento gramatical. Uma solução natural é condicionar o modelo à resposta correta como um professor, identificando tokens que ele teria gerado de forma diferente se soubesse a resposta. Trabalhos anteriores mostram que isso ou corrompe o treinamento ao vazar a resposta para o gradiente, ou produz um sinal fraco que não consegue distinguir etapas decisivas de preenchimentos, já que ambos parecem igualmente surpreendentes em relação à linha de base do modelo. Propomos a Otimização de Política por Evidência Contrastiva (CEPO), que faz uma pergunta mais precisa a cada token: não apenas "a resposta correta favorece este token?" mas "a resposta correta o favorece enquanto a resposta errada o desfavorece?" Um token que satisfaz ambas as condições é uma etapa genuína de raciocínio; um que não satisfaz nenhuma é preenchimento. O professor com resposta errada é construído a partir de rollouts rejeitados já no lote de treinamento, sem custo adicional de amostragem. Provamos que o CEPO herda todas as garantias estruturais de segurança do estado da arte anterior, enquanto aperfeiçoa estritamente o crédito em tokens decisivos, com a melhoria desaparecendo exatamente nas posições de preenchimento. Empiricamente, o CEPO atinge 43,43% e 60,56% de precisão média em cinco benchmarks multimodais de raciocínio matemático nas escalas de 2B e 4B, respectivamente, contra 41,17% e 57,43% do GRPO sob orçamentos de treinamento idênticos. Métodos de autodestilação por correspondência de distribuição (OPSD, SDPO) ficam abaixo da linha de base não treinada, confirmando empiricamente o vazamento de informação que nossa teoria prevê. Nosso código está disponível em https://github.com/ahmedheakl/CEPO.

English

When a model produces a correct solution under reinforcement learning with verifiable rewards (RLVR), every token receives the same reward signal regardless of whether it was a decisive reasoning step or a grammatical filler. A natural fix is to condition the model on the correct answer as a teacher, identifying tokens it would have generated differently had it known the answer. Prior work shows this either corrupts training by leaking the answer into the gradient, or produces a weak signal that cannot distinguish decisive steps from filler, since both look equally surprising relative to the model's baseline. We propose Contrastive Evidence Policy Optimization (CEPO), which asks a sharper question at every token: not just "does the correct answer favor this token?" but "does the correct answer favor it while the wrong answer disfavors it?" A token satisfying both is a genuine reasoning step; one satisfying neither is filler. The wrong-answer teacher is constructed from rejected rollouts already in the training batch, incurring no additional sampling cost. We prove CEPO inherits all structural safety guarantees of the prior state of the art while strictly sharpening credit at decisive tokens, with the improvement vanishing exactly at filler positions. Empirically, CEPO achieves 43.43% and 60.56% average accuracy across five multimodal mathematical reasoning benchmarks at 2B and 4B scale, respectively, versus 41.17% and 57.43% for GRPO under identical training budgets. Distribution-matching self-distillation methods (OPSD, SDPO) fall below the untrained baseline, empirically confirming the information leakage our theory predicts. Our code is available at https://github.com/ahmedheakl/CEPO.