SPARK : Cadre de Co-Évolution Synergétique des Politiques et des Récompenses
SPARK: Synergistic Policy And Reward Co-Evolving Framework
September 26, 2025
papers.authors: Ziyu Liu, Yuhang Zang, Shengyuan Ding, Yuhang Cao, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang
cs.AI
papers.abstract
Les modèles de langage de grande taille (LLMs) et les modèles vision-langage de grande taille (LVLMs) utilisent de plus en plus l'apprentissage par renforcement (RL) pour le post-prétraitement, comme le RL avec récompenses vérifiables (RLVR) pour les tâches objectives et le RL à partir de retours humains (RLHF) pour les tâches subjectives. Cependant, le RLHF entraîne des coûts élevés et un risque de décalage entre la politique et les récompenses en raison de sa dépendance aux préférences humaines, tandis que le RLVR gaspille encore la supervision en éliminant les déploiements et les signaux de correction après chaque mise à jour. Pour relever ces défis, nous introduisons le cadre Synergistic Policy And Reward Co-Evolving Framework (SPARK), une méthode efficace, sur-politique et stable qui s'appuie sur le RLVR. Au lieu de jeter les déploiements et les données de correction, SPARK recycle ces informations précieuses pour entraîner simultanément le modèle lui-même en tant que modèle de récompense génératif. Cet entraînement auxiliaire utilise un mélange d'objectifs, tels que le score de récompense ponctuel, la comparaison par paires et l'évaluation conditionnée sur des réponses de réflexion approfondie, pour enseigner au modèle à évaluer et à améliorer ses propres réponses. Notre processus élimine le besoin d'un modèle de récompense séparé et de données coûteuses de préférences humaines. SPARK crée une boucle de rétroaction positive en co-évolution : une meilleure précision des récompenses produit de meilleurs gradients de politique, qui à leur tour génèrent des déploiements de plus haute qualité qui affinent davantage le modèle de récompense. Notre cadre unifié prend en charge la mise à l'échelle au moment du test via l'auto-réflexion sans modèles de récompense externes et leurs coûts associés. Nous montrons que SPARK obtient des gains de performance significatifs sur plusieurs modèles LLM et LVLM, ainsi que sur plusieurs benchmarks de raisonnement, de récompense et généraux. Par exemple, SPARK-VL-7B réalise un gain moyen de 9,7 % sur 7 benchmarks de raisonnement, de 12,1 % sur 2 benchmarks de récompense et de 1,5 % sur 8 benchmarks généraux par rapport aux baselines, démontrant ainsi une robustesse et une généralisation étendue.
English
Recent Large Language Models (LLMs) and Large Vision-Language Models (LVLMs)
increasingly use Reinforcement Learning (RL) for post-pretraining, such as RL
with Verifiable Rewards (RLVR) for objective tasks and RL from Human Feedback
(RLHF) for subjective tasks. However, RLHF incurs high costs and potential
reward-policy mismatch due to reliance on human preferences, while RLVR still
wastes supervision by discarding rollouts and correctness signals after each
update. To address these challenges, we introduce the Synergistic Policy And
Reward Co-Evolving Framework (SPARK), an efficient, on-policy, and stable
method that builds on RLVR. Instead of discarding rollouts and correctness
data, SPARK recycles this valuable information to simultaneously train the
model itself as a generative reward model. This auxiliary training uses a mix
of objectives, such as pointwise reward score, pairwise comparison, and
evaluation conditioned on further-reflection responses, to teach the model to
evaluate and improve its own responses. Our process eliminates the need for a
separate reward model and costly human preference data. SPARK creates a
positive co-evolving feedback loop: improved reward accuracy yields better
policy gradients, which in turn produce higher-quality rollouts that further
refine the reward model. Our unified framework supports test-time scaling via
self-reflection without external reward models and their associated costs. We
show that SPARK achieves significant performance gains on multiple LLM and LVLM
models and multiple reasoning, reward models, and general benchmarks. For
example, SPARK-VL-7B achieves an average 9.7% gain on 7 reasoning benchmarks,
12.1% on 2 reward benchmarks, and 1.5% on 8 general benchmarks over the
baselines, demonstrating robustness and broad generalization.