Acoplamiento Implícito de Actor-Crítico mediante un Marco de Aprendizaje Supervisado para RLVR

Implicit Actor Critic Coupling via a Supervised Learning Framework for RLVR

September 2, 2025

Autores: Jiaming Li, Longze Chen, Ze Gong, Yukun Chen, Lu Wang, Wanwei He, Run Luo, Min Yang

cs.AI

Resumen

Los recientes avances en Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) han permitido a los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) abordar tareas de razonamiento complejas, como las matemáticas y la programación. RLVR aprovecha las recompensas de resultados verificables para guiar la optimización de políticas, lo que permite a los LLMs mejorar progresivamente la calidad de sus salidas de manera fundamentada y confiable. A pesar de su potencial, el paradigma RLVR presenta desafíos significativos, ya que los métodos existentes a menudo sufren de señales de recompensa dispersas y actualizaciones inestables de gradientes de políticas, particularmente en enfoques basados en RL. Para abordar estos desafíos, proponemos PACS, un marco novedoso de RLVR que logra un acoplamiento implícito entre Actor y Crítico mediante un marco de aprendizaje supervisado. Al tratar la recompensa del resultado como una etiqueta predecible, reformulamos el problema de RLVR en una tarea de aprendizaje supervisado sobre una función de puntuación parametrizada por el modelo de política y optimizada mediante la pérdida de entropía cruzada. Un análisis detallado del gradiente muestra que esta formulación supervisada recupera inherentemente la actualización clásica del gradiente de política mientras acopla implícitamente los roles de actor y crítico, lo que resulta en un entrenamiento más estable y eficiente. Al evaluar en tareas desafiantes de razonamiento matemático, PACS supera a los baselines sólidos de RLVR, como PPO y GRPO, logrando un rendimiento superior en razonamiento. Por ejemplo, PACS alcanza un 59.78% en pass@256 en AIME 2025, lo que representa mejoras de 13.32 y 14.36 puntos sobre PPO y GRPO. Este marco simple pero poderoso ofrece una vía prometedora para el post-entrenamiento de LLMs con recompensas verificables. Nuestro código y datos están disponibles como código abierto en https://github.com/ritzz-ai/PACS.

English

Recent advances in Reinforcement Learning with Verifiable Rewards (RLVR) have empowered large language models (LLMs) to tackle challenging reasoning tasks such as mathematics and programming. RLVR leverages verifiable outcome rewards to guide policy optimization, enabling LLMs to progressively improve output quality in a grounded and reliable manner. Despite its promise, the RLVR paradigm poses significant challenges, as existing methods often suffer from sparse reward signals and unstable policy gradient updates, particularly in RL-based approaches. To address the challenges, we propose PACS, a novel RLVR framework that achieves imPlicit Actor Critic coupling via a Supervised learning framework. By treating the outcome reward as a predictable label, we reformulate the RLVR problem into a supervised learning task over a score function parameterized by the policy model and optimized using cross-entropy loss. A detailed gradient analysis shows that this supervised formulation inherently recovers the classical policy gradient update while implicitly coupling actor and critic roles, yielding more stable and efficient training. Benchmarking on challenging mathematical reasoning tasks, PACS outperforms strong RLVR baselines, such as PPO and GRPO, achieving superior reasoning performance. For instance, PACS achieves 59.78\% at pass@256 on AIME 2025, representing improvements of 13.32 and 14.36 points over PPO and GRPO. This simple yet powerful framework offers a promising avenue for LLMs post-training with verifiable rewards. Our code and data are available as open source at https://github.com/ritzz-ai/PACS.