ChatPaper.aiChatPaper

SPARK: Marco de Coevolución Sinérgica de Políticas y Recompensas

SPARK: Synergistic Policy And Reward Co-Evolving Framework

September 26, 2025
Autores: Ziyu Liu, Yuhang Zang, Shengyuan Ding, Yuhang Cao, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang
cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) y los modelos de visión-lenguaje de gran escala (LVLMs, por sus siglas en inglés) utilizan cada vez más el Aprendizaje por Refuerzo (RL, por sus siglas en inglés) para el entrenamiento posterior, como el RL con Recompensas Verificables (RLVR, por sus siglas en inglés) para tareas objetivas y el RL a partir de la Retroalimentación Humana (RLHF, por sus siglas en inglés) para tareas subjetivas. Sin embargo, el RLHF incurre en costos elevados y un posible desajuste entre la política y la recompensa debido a su dependencia de las preferencias humanas, mientras que el RLVR aún desperdicia supervisión al descartar las ejecuciones y las señales de corrección después de cada actualización. Para abordar estos desafíos, presentamos el Marco de Coevolución Sinérgica de Política y Recompensa (SPARK, por sus siglas en inglés), un método eficiente, en política y estable que se basa en el RLVR. En lugar de descartar las ejecuciones y los datos de corrección, SPARK recicla esta información valiosa para entrenar simultáneamente el modelo como un modelo generativo de recompensas. Este entrenamiento auxiliar utiliza una combinación de objetivos, como la puntuación de recompensa puntual, la comparación por pares y la evaluación condicionada a respuestas de reflexión adicional, para enseñar al modelo a evaluar y mejorar sus propias respuestas. Nuestro proceso elimina la necesidad de un modelo de recompensa separado y de costosos datos de preferencias humanas. SPARK crea un ciclo de retroalimentación positivo de coevolución: una mayor precisión en las recompensas produce mejores gradientes de política, lo que a su vez genera ejecuciones de mayor calidad que refinan aún más el modelo de recompensa. Nuestro marco unificado permite la escalabilidad en tiempo de prueba mediante la autorreflexión sin necesidad de modelos de recompensa externos y sus costos asociados. Demostramos que SPARK logra mejoras significativas en el rendimiento de múltiples modelos LLM y LVLM, así como en múltiples pruebas de razonamiento, modelos de recompensa y evaluaciones generales. Por ejemplo, SPARK-VL-7B alcanza una mejora promedio del 9.7% en 7 pruebas de razonamiento, del 12.1% en 2 pruebas de recompensa y del 1.5% en 8 evaluaciones generales en comparación con los valores de referencia, demostrando robustez y una amplia generalización.
English
Recent Large Language Models (LLMs) and Large Vision-Language Models (LVLMs) increasingly use Reinforcement Learning (RL) for post-pretraining, such as RL with Verifiable Rewards (RLVR) for objective tasks and RL from Human Feedback (RLHF) for subjective tasks. However, RLHF incurs high costs and potential reward-policy mismatch due to reliance on human preferences, while RLVR still wastes supervision by discarding rollouts and correctness signals after each update. To address these challenges, we introduce the Synergistic Policy And Reward Co-Evolving Framework (SPARK), an efficient, on-policy, and stable method that builds on RLVR. Instead of discarding rollouts and correctness data, SPARK recycles this valuable information to simultaneously train the model itself as a generative reward model. This auxiliary training uses a mix of objectives, such as pointwise reward score, pairwise comparison, and evaluation conditioned on further-reflection responses, to teach the model to evaluate and improve its own responses. Our process eliminates the need for a separate reward model and costly human preference data. SPARK creates a positive co-evolving feedback loop: improved reward accuracy yields better policy gradients, which in turn produce higher-quality rollouts that further refine the reward model. Our unified framework supports test-time scaling via self-reflection without external reward models and their associated costs. We show that SPARK achieves significant performance gains on multiple LLM and LVLM models and multiple reasoning, reward models, and general benchmarks. For example, SPARK-VL-7B achieves an average 9.7% gain on 7 reasoning benchmarks, 12.1% on 2 reward benchmarks, and 1.5% on 8 general benchmarks over the baselines, demonstrating robustness and broad generalization.
PDF152September 29, 2025