SPARK: Synergetisch Beleid en Beloningsco-evolutie Framework

Samenvatting

Recente Large Language Models (LLM's) en Large Vision-Language Models (LVLM's) maken steeds vaker gebruik van Reinforcement Learning (RL) voor post-pretraining, zoals RL met Verifieerbare Beloningen (RLVR) voor objectieve taken en RL op basis van Menselijke Feedback (RLHF) voor subjectieve taken. RLHF brengt echter hoge kosten en een mogelijke mismatch tussen beloning en beleid met zich mee vanwege de afhankelijkheid van menselijke voorkeuren, terwijl RLVR nog steeds toezicht verspilt door rollouts en correctheidssignalen na elke update weg te gooien. Om deze uitdagingen aan te pakken, introduceren we het Synergistische Beleid en Beloning Co-Evoluerende Framework (SPARK), een efficiënte, on-policy en stabiele methode die voortbouwt op RLVR. In plaats van rollouts en correctheidsgegevens weg te gooien, recycleert SPARK deze waardevolle informatie om het model zelf tegelijkertijd te trainen als een generatief beloningsmodel. Deze aanvullende training gebruikt een mix van doelstellingen, zoals puntgewijze beloningsscores, paarsgewijze vergelijkingen en evaluatie op basis van verder-reflectie reacties, om het model te leren zijn eigen reacties te evalueren en te verbeteren. Ons proces elimineert de behoefte aan een apart beloningsmodel en kostbare menselijke voorkeursgegevens. SPARK creëert een positieve co-evoluerende feedbackloop: verbeterde beloningsnauwkeurigheid levert betere beleidsgradiënten op, die op hun beurt rollouts van hogere kwaliteit produceren die het beloningsmodel verder verfijnen. Ons geïntegreerde framework ondersteunt schaling tijdens de testfase via zelfreflectie zonder externe beloningsmodellen en de daarmee gepaard gaande kosten. We laten zien dat SPARK aanzienlijke prestatieverbeteringen behaalt op meerdere LLM- en LVLM-modellen en op meerdere redeneer-, belonings- en algemene benchmarks. SPARK-VL-7B behaalt bijvoorbeeld een gemiddelde winst van 9,7% op 7 redeneerbenchmarks, 12,1% op 2 beloningsbenchmarks en 1,5% op 8 algemene benchmarks ten opzichte van de basislijnen, wat robuustheid en brede generalisatie aantoont.

English

Recent Large Language Models (LLMs) and Large Vision-Language Models (LVLMs) increasingly use Reinforcement Learning (RL) for post-pretraining, such as RL with Verifiable Rewards (RLVR) for objective tasks and RL from Human Feedback (RLHF) for subjective tasks. However, RLHF incurs high costs and potential reward-policy mismatch due to reliance on human preferences, while RLVR still wastes supervision by discarding rollouts and correctness signals after each update. To address these challenges, we introduce the Synergistic Policy And Reward Co-Evolving Framework (SPARK), an efficient, on-policy, and stable method that builds on RLVR. Instead of discarding rollouts and correctness data, SPARK recycles this valuable information to simultaneously train the model itself as a generative reward model. This auxiliary training uses a mix of objectives, such as pointwise reward score, pairwise comparison, and evaluation conditioned on further-reflection responses, to teach the model to evaluate and improve its own responses. Our process eliminates the need for a separate reward model and costly human preference data. SPARK creates a positive co-evolving feedback loop: improved reward accuracy yields better policy gradients, which in turn produce higher-quality rollouts that further refine the reward model. Our unified framework supports test-time scaling via self-reflection without external reward models and their associated costs. We show that SPARK achieves significant performance gains on multiple LLM and LVLM models and multiple reasoning, reward models, and general benchmarks. For example, SPARK-VL-7B achieves an average 9.7% gain on 7 reasoning benchmarks, 12.1% on 2 reward benchmarks, and 1.5% on 8 general benchmarks over the baselines, demonstrating robustness and broad generalization.

SPARK: Synergetisch Beleid en Beloningsco-evolutie Framework

SPARK: Synergistic Policy And Reward Co-Evolving Framework

Samenvatting

Support