ChatPaper.aiChatPaper

SPARK: Synergistisches Framework für die gemeinsame Entwicklung von Strategie und Belohnung

SPARK: Synergistic Policy And Reward Co-Evolving Framework

September 26, 2025
papers.authors: Ziyu Liu, Yuhang Zang, Shengyuan Ding, Yuhang Cao, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang
cs.AI

papers.abstract

Aktuelle Large Language Models (LLMs) und Large Vision-Language Models (LVLMs) setzen zunehmend Reinforcement Learning (RL) für das Post-Pretraining ein, wie beispielsweise RL mit verifizierbaren Belohnungen (RLVR) für objektive Aufgaben und RL basierend auf menschlichem Feedback (RLHF) für subjektive Aufgaben. Allerdings verursacht RLHF hohe Kosten und birgt das Risiko einer Belohnungs-Policy-Diskrepanz aufgrund der Abhängigkeit von menschlichen Präferenzen, während RLVR weiterhin wertvolle Überwachungsinformationen verschwendet, indem Rollouts und Korrektheitssignale nach jedem Update verworfen werden. Um diese Herausforderungen zu bewältigen, führen wir das Synergistic Policy And Reward Co-Evolving Framework (SPARK) ein, eine effiziente, on-policy und stabile Methode, die auf RLVR aufbaut. Anstatt Rollouts und Korrektheitsdaten zu verwerfen, recycelt SPARK diese wertvollen Informationen, um gleichzeitig das Modell selbst als ein generatives Belohnungsmodell zu trainieren. Dieses zusätzliche Training verwendet eine Mischung von Zielen, wie punktuelle Belohnungswerte, paarweise Vergleiche und Bewertungen, die auf weiterführende Reflexionsantworten konditioniert sind, um dem Modell beizubringen, seine eigenen Antworten zu bewerten und zu verbessern. Unser Prozess eliminiert die Notwendigkeit eines separaten Belohnungsmodells und kostspieliger menschlicher Präferenzdaten. SPARK schafft eine positive, sich gemeinsam entwickelnde Feedback-Schleife: verbesserte Belohnungsgenauigkeit führt zu besseren Policy-Gradienten, die wiederum höherwertige Rollouts erzeugen, die das Belohnungsmodell weiter verfeinern. Unser einheitliches Framework unterstützt die Skalierung zur Testzeit durch Selbstreflexion ohne externe Belohnungsmodelle und deren damit verbundene Kosten. Wir zeigen, dass SPARK signifikante Leistungssteigerungen bei mehreren LLM- und LVLM-Modellen sowie bei mehreren Reasoning-, Belohnungsmodell- und allgemeinen Benchmarks erzielt. Beispielsweise erreicht SPARK-VL-7B durchschnittliche Verbesserungen von 9,7 % auf 7 Reasoning-Benchmarks, 12,1 % auf 2 Belohnungs-Benchmarks und 1,5 % auf 8 allgemeinen Benchmarks im Vergleich zu den Baselines, was Robustheit und breite Generalisierungsfähigkeit demonstriert.
English
Recent Large Language Models (LLMs) and Large Vision-Language Models (LVLMs) increasingly use Reinforcement Learning (RL) for post-pretraining, such as RL with Verifiable Rewards (RLVR) for objective tasks and RL from Human Feedback (RLHF) for subjective tasks. However, RLHF incurs high costs and potential reward-policy mismatch due to reliance on human preferences, while RLVR still wastes supervision by discarding rollouts and correctness signals after each update. To address these challenges, we introduce the Synergistic Policy And Reward Co-Evolving Framework (SPARK), an efficient, on-policy, and stable method that builds on RLVR. Instead of discarding rollouts and correctness data, SPARK recycles this valuable information to simultaneously train the model itself as a generative reward model. This auxiliary training uses a mix of objectives, such as pointwise reward score, pairwise comparison, and evaluation conditioned on further-reflection responses, to teach the model to evaluate and improve its own responses. Our process eliminates the need for a separate reward model and costly human preference data. SPARK creates a positive co-evolving feedback loop: improved reward accuracy yields better policy gradients, which in turn produce higher-quality rollouts that further refine the reward model. Our unified framework supports test-time scaling via self-reflection without external reward models and their associated costs. We show that SPARK achieves significant performance gains on multiple LLM and LVLM models and multiple reasoning, reward models, and general benchmarks. For example, SPARK-VL-7B achieves an average 9.7% gain on 7 reasoning benchmarks, 12.1% on 2 reward benchmarks, and 1.5% on 8 general benchmarks over the baselines, demonstrating robustness and broad generalization.
PDF152September 29, 2025