SPARK: Framework di Co-Evoluzione Sinergica tra Politiche e Ricompense

Abstract

I recenti Large Language Models (LLMs) e Large Vision-Language Models (LVLMs) utilizzano sempre più il Reinforcement Learning (RL) per il post-pretraining, come RL con Verifiable Rewards (RLVR) per compiti oggettivi e RL da Human Feedback (RLHF) per compiti soggettivi. Tuttavia, RLHF comporta costi elevati e un potenziale disallineamento tra ricompensa e politica a causa della dipendenza dalle preferenze umane, mentre RLVR spreca ancora supervisione scartando i rollouts e i segnali di correttezza dopo ogni aggiornamento. Per affrontare queste sfide, introduciamo il Synergistic Policy And Reward Co-Evolving Framework (SPARK), un metodo efficiente, on-policy e stabile che si basa su RLVR. Invece di scartare i rollouts e i dati di correttezza, SPARK ricicla queste preziose informazioni per addestrare simultaneamente il modello stesso come un modello generativo di ricompensa. Questo addestramento ausiliario utilizza una combinazione di obiettivi, come il punteggio di ricompensa puntuale, il confronto a coppie e la valutazione condizionata a risposte di ulteriore riflessione, per insegnare al modello a valutare e migliorare le proprie risposte. Il nostro processo elimina la necessità di un modello di ricompensa separato e di costosi dati di preferenze umane. SPARK crea un ciclo di feedback co-evolutivo positivo: una maggiore accuratezza della ricompensa produce gradienti di politica migliori, che a loro volta generano rollouts di qualità superiore che affinano ulteriormente il modello di ricompensa. Il nostro framework unificato supporta il ridimensionamento al momento del test tramite auto-riflessione senza modelli di ricompensa esterni e i relativi costi associati. Dimostriamo che SPARK ottiene significativi miglioramenti delle prestazioni su più modelli LLM e LVLM e su più benchmark di ragionamento, modelli di ricompensa e generali. Ad esempio, SPARK-VL-7B raggiunge un guadagno medio del 9,7% su 7 benchmark di ragionamento, del 12,1% su 2 benchmark di ricompensa e dell'1,5% su 8 benchmark generali rispetto alle baseline, dimostrando robustezza e ampia generalizzazione.

English

Recent Large Language Models (LLMs) and Large Vision-Language Models (LVLMs) increasingly use Reinforcement Learning (RL) for post-pretraining, such as RL with Verifiable Rewards (RLVR) for objective tasks and RL from Human Feedback (RLHF) for subjective tasks. However, RLHF incurs high costs and potential reward-policy mismatch due to reliance on human preferences, while RLVR still wastes supervision by discarding rollouts and correctness signals after each update. To address these challenges, we introduce the Synergistic Policy And Reward Co-Evolving Framework (SPARK), an efficient, on-policy, and stable method that builds on RLVR. Instead of discarding rollouts and correctness data, SPARK recycles this valuable information to simultaneously train the model itself as a generative reward model. This auxiliary training uses a mix of objectives, such as pointwise reward score, pairwise comparison, and evaluation conditioned on further-reflection responses, to teach the model to evaluate and improve its own responses. Our process eliminates the need for a separate reward model and costly human preference data. SPARK creates a positive co-evolving feedback loop: improved reward accuracy yields better policy gradients, which in turn produce higher-quality rollouts that further refine the reward model. Our unified framework supports test-time scaling via self-reflection without external reward models and their associated costs. We show that SPARK achieves significant performance gains on multiple LLM and LVLM models and multiple reasoning, reward models, and general benchmarks. For example, SPARK-VL-7B achieves an average 9.7% gain on 7 reasoning benchmarks, 12.1% on 2 reward benchmarks, and 1.5% on 8 general benchmarks over the baselines, demonstrating robustness and broad generalization.

SPARK: Framework di Co-Evoluzione Sinergica tra Politiche e Ricompense

SPARK: Synergistic Policy And Reward Co-Evolving Framework

Abstract

Support