CEPO: Autodestilación RLVR mediante Optimización de Políticas basada en Evidencia Contrastiva

Resumen

Cuando un modelo produce una solución correcta bajo aprendizaje por refuerzo con recompensas verificables (RLVR), cada token recibe la misma señal de recompensa independientemente de si se trata de un paso de razonamiento decisivo o de un relleno gramatical. Una solución natural consiste en condicionar el modelo a la respuesta correcta como maestro, identificando los tokens que habría generado de manera diferente de haber conocido la respuesta. Trabajos previos muestran que esto o bien corrompe el entrenamiento al filtrar la respuesta en el gradiente, o bien produce una señal débil que no puede distinguir los pasos decisivos del relleno, ya que ambos parecen igualmente sorprendentes en relación con la línea base del modelo. Proponemos la Optimización de Política Basada en Evidencia Contrastiva (CEPO), que plantea una pregunta más precisa en cada token: no solo "¿la respuesta correcta favorece este token?" sino "¿la respuesta correcta lo favorece mientras que la respuesta incorrecta lo desfavorece?" Un token que satisface ambas condiciones es un paso genuino de razonamiento; uno que no satisface ninguna es relleno. El maestro de respuesta incorrecta se construye a partir de rollouts rechazados que ya están en el lote de entrenamiento, sin incurrir en costos adicionales de muestreo. Demostramos que CEPO hereda todas las garantías estructurales de seguridad del estado del arte previo, a la vez que agudiza estrictamente el crédito en los tokens decisivos, y la mejora desaparece exactamente en las posiciones de relleno. Empíricamente, CEPO alcanza una precisión promedio de 43.43% y 60.56% en cinco puntos de referencia de razonamiento matemático multimodal a escalas de 2B y 4B, respectivamente, frente al 41.17% y 57.43% de GRPO bajo presupuestos de entrenamiento idénticos. Los métodos de autodestilación por emparejamiento de distribuciones (OPSD, SDPO) se sitúan por debajo del punto de referencia no entrenado, confirmando empíricamente la fuga de información que predice nuestra teoría. Nuestro código está disponible en https://github.com/ahmedheakl/CEPO.

English

When a model produces a correct solution under reinforcement learning with verifiable rewards (RLVR), every token receives the same reward signal regardless of whether it was a decisive reasoning step or a grammatical filler. A natural fix is to condition the model on the correct answer as a teacher, identifying tokens it would have generated differently had it known the answer. Prior work shows this either corrupts training by leaking the answer into the gradient, or produces a weak signal that cannot distinguish decisive steps from filler, since both look equally surprising relative to the model's baseline. We propose Contrastive Evidence Policy Optimization (CEPO), which asks a sharper question at every token: not just "does the correct answer favor this token?" but "does the correct answer favor it while the wrong answer disfavors it?" A token satisfying both is a genuine reasoning step; one satisfying neither is filler. The wrong-answer teacher is constructed from rejected rollouts already in the training batch, incurring no additional sampling cost. We prove CEPO inherits all structural safety guarantees of the prior state of the art while strictly sharpening credit at decisive tokens, with the improvement vanishing exactly at filler positions. Empirically, CEPO achieves 43.43% and 60.56% average accuracy across five multimodal mathematical reasoning benchmarks at 2B and 4B scale, respectively, versus 41.17% and 57.43% for GRPO under identical training budgets. Distribution-matching self-distillation methods (OPSD, SDPO) fall below the untrained baseline, empirically confirming the information leakage our theory predicts. Our code is available at https://github.com/ahmedheakl/CEPO.