SPARK: Estrutura de Coevolução Sinérgica entre Política e Recompensa

Resumo

Modelos de Linguagem de Grande Escala (LLMs) e Modelos de Visão-Linguagem de Grande Escala (LVLMs) recentes têm utilizado cada vez mais o Aprendizado por Reforço (RL) para pós-pré-treinamento, como o RL com Recompensas Verificáveis (RLVR) para tarefas objetivas e o RL a partir de Feedback Humano (RLHF) para tarefas subjetivas. No entanto, o RLHF incorre em custos elevados e potencial desalinhamento entre recompensa e política devido à dependência de preferências humanas, enquanto o RLVR ainda desperdiça supervisão ao descartar rollouts e sinais de correção após cada atualização. Para enfrentar esses desafios, introduzimos o Framework de Coevolução Sinérgica de Política e Recompensa (SPARK), um método eficiente, on-policy e estável que se baseia no RLVR. Em vez de descartar rollouts e dados de correção, o SPARK recicla essas informações valiosas para treinar simultaneamente o próprio modelo como um modelo de recompensa generativo. Esse treinamento auxiliar utiliza uma mistura de objetivos, como pontuação de recompensa pontual, comparação pareada e avaliação condicionada a respostas de reflexão adicional, para ensinar o modelo a avaliar e melhorar suas próprias respostas. Nosso processo elimina a necessidade de um modelo de recompensa separado e de dados custosos de preferência humana. O SPARK cria um ciclo de feedback positivo de coevolução: a precisão aprimorada da recompensa gera melhores gradientes de política, que por sua vez produzem rollouts de maior qualidade que refinam ainda mais o modelo de recompensa. Nosso framework unificado suporta escalonamento em tempo de teste via autorreflexão sem a necessidade de modelos de recompensa externos e seus custos associados. Demonstramos que o SPARK alcança ganhos significativos de desempenho em múltiplos modelos LLM e LVLM, bem como em benchmarks de raciocínio, modelos de recompensa e benchmarks gerais. Por exemplo, o SPARK-VL-7B alcança um ganho médio de 9,7% em 7 benchmarks de raciocínio, 12,1% em 2 benchmarks de recompensa e 1,5% em 8 benchmarks gerais em relação às linhas de base, demonstrando robustez e ampla generalização.

English

Recent Large Language Models (LLMs) and Large Vision-Language Models (LVLMs) increasingly use Reinforcement Learning (RL) for post-pretraining, such as RL with Verifiable Rewards (RLVR) for objective tasks and RL from Human Feedback (RLHF) for subjective tasks. However, RLHF incurs high costs and potential reward-policy mismatch due to reliance on human preferences, while RLVR still wastes supervision by discarding rollouts and correctness signals after each update. To address these challenges, we introduce the Synergistic Policy And Reward Co-Evolving Framework (SPARK), an efficient, on-policy, and stable method that builds on RLVR. Instead of discarding rollouts and correctness data, SPARK recycles this valuable information to simultaneously train the model itself as a generative reward model. This auxiliary training uses a mix of objectives, such as pointwise reward score, pairwise comparison, and evaluation conditioned on further-reflection responses, to teach the model to evaluate and improve its own responses. Our process eliminates the need for a separate reward model and costly human preference data. SPARK creates a positive co-evolving feedback loop: improved reward accuracy yields better policy gradients, which in turn produce higher-quality rollouts that further refine the reward model. Our unified framework supports test-time scaling via self-reflection without external reward models and their associated costs. We show that SPARK achieves significant performance gains on multiple LLM and LVLM models and multiple reasoning, reward models, and general benchmarks. For example, SPARK-VL-7B achieves an average 9.7% gain on 7 reasoning benchmarks, 12.1% on 2 reward benchmarks, and 1.5% on 8 general benchmarks over the baselines, demonstrating robustness and broad generalization.

SPARK: Estrutura de Coevolução Sinérgica entre Política e Recompensa

SPARK: Synergistic Policy And Reward Co-Evolving Framework

Resumo

Support