CEPO: RLVR-самодистилляция с использованием контрастивной оптимизации политики на основе свидетельств

Аннотация

Когда модель генерирует правильное решение в рамках обучения с подкреплением с проверяемыми вознаграждениями (RLVR), каждый токен получает один и тот же сигнал вознаграждения независимо от того, был ли он решающим шагом рассуждения или грамматическим заполнителем. Естественным исправлением является обусловливание модели правильным ответом в качестве учителя, что позволяет идентифицировать токены, которые она сгенерировала бы иначе, если бы знала ответ. Предыдущие работы показывают, что это либо искажает обучение за счет утечки ответа в градиент, либо дает слабый сигнал, который не может отличить решающие шаги от заполнителей, поскольку оба выглядят одинаково неожиданными по сравнению с базовым уровнем модели. Мы предлагаем Контрастивную оптимизацию политики на основе свидетельств (CEPO), которая задает более точный вопрос на каждом токене: не просто «поддерживает ли правильный ответ этот токен?», но «поддерживает ли его правильный ответ, в то время как неправильный ответ отвергает его?» Токен, удовлетворяющий обоим условиям, является подлинным шагом рассуждения; токен, не удовлетворяющий ни одному, — заполнителем. Учитель-неправильный ответ конструируется из отвергнутых прогонов, уже присутствующих в обучающем батче, что не требует дополнительных затрат на семплирование. Мы доказываем, что CEPO наследует все структурные гарантии безопасности предыдущего уровня техники, при этом строго уточняя вознаграждение на решающих токенах, причем улучшение исчезает именно на позициях заполнителей. Эмпирически CEPO достигает средней точности 43,43% и 60,56% на пяти мультимодальных бенчмарках математических рассуждений при масштабе 2B и 4B соответственно, по сравнению с 41,17% и 57,43% для GRPO при идентичных бюджетах обучения. Методы самодистилляции с выравниванием распределений (OPSD, SDPO) показывают результаты ниже необученного базового уровня, что эмпирически подтверждает утечку информации, предсказанную нашей теорией. Наш код доступен по адресу https://github.com/ahmedheakl/CEPO.

English

When a model produces a correct solution under reinforcement learning with verifiable rewards (RLVR), every token receives the same reward signal regardless of whether it was a decisive reasoning step or a grammatical filler. A natural fix is to condition the model on the correct answer as a teacher, identifying tokens it would have generated differently had it known the answer. Prior work shows this either corrupts training by leaking the answer into the gradient, or produces a weak signal that cannot distinguish decisive steps from filler, since both look equally surprising relative to the model's baseline. We propose Contrastive Evidence Policy Optimization (CEPO), which asks a sharper question at every token: not just "does the correct answer favor this token?" but "does the correct answer favor it while the wrong answer disfavors it?" A token satisfying both is a genuine reasoning step; one satisfying neither is filler. The wrong-answer teacher is constructed from rejected rollouts already in the training batch, incurring no additional sampling cost. We prove CEPO inherits all structural safety guarantees of the prior state of the art while strictly sharpening credit at decisive tokens, with the improvement vanishing exactly at filler positions. Empirically, CEPO achieves 43.43% and 60.56% average accuracy across five multimodal mathematical reasoning benchmarks at 2B and 4B scale, respectively, versus 41.17% and 57.43% for GRPO under identical training budgets. Distribution-matching self-distillation methods (OPSD, SDPO) fall below the untrained baseline, empirically confirming the information leakage our theory predicts. Our code is available at https://github.com/ahmedheakl/CEPO.