SPARK: Синергетическая структура совместной эволюции политики и вознаграждения

Аннотация

Современные крупные языковые модели (LLM) и крупные визуально-языковые модели (LVLM) всё чаще используют обучение с подкреплением (RL) для пост-предобучения, например, RL с проверяемыми наградами (RLVR) для объективных задач и RL на основе человеческой обратной связи (RLHF) для субъективных задач. Однако RLHF сопряжён с высокими затратами и потенциальным несоответствием между наградой и политикой из-за зависимости от человеческих предпочтений, в то время как RLVR всё ещё растрачивает ресурсы, отбрасывая траектории и сигналы корректности после каждого обновления. Для решения этих проблем мы представляем Synergistic Policy And Reward Co-Evolving Framework (SPARK) — эффективный, онлайновый и стабильный метод, основанный на RLVR. Вместо отбрасывания траекторий и данных о корректности SPARK перерабатывает эту ценную информацию для одновременного обучения самой модели в качестве генеративной модели наград. Это вспомогательное обучение использует смесь целей, таких как точечная оценка награды, попарное сравнение и оценка, основанная на ответах с дополнительным анализом, чтобы научить модель оценивать и улучшать свои собственные ответы. Наш процесс устраняет необходимость в отдельной модели наград и дорогостоящих данных о человеческих предпочтениях. SPARK создаёт положительную петлю обратной связи совместной эволюции: улучшенная точность наград приводит к более качественным градиентам политики, которые, в свою очередь, генерируют более качественные траектории, что дополнительно уточняет модель наград. Наш унифицированный фреймворк поддерживает масштабирование во время тестирования через самоанализ без внешних моделей наград и связанных с ними затрат. Мы показываем, что SPARK достигает значительного улучшения производительности на множестве моделей LLM и LVLM, а также на различных тестах на рассуждение, модели наград и общих бенчмарках. Например, SPARK-VL-7B демонстрирует средний прирост на 9,7% на 7 тестах на рассуждение, 12,1% на 2 тестах наград и 1,5% на 8 общих бенчмарках по сравнению с базовыми моделями, что подтверждает её устойчивость и широкую обобщаемость.

English

Recent Large Language Models (LLMs) and Large Vision-Language Models (LVLMs) increasingly use Reinforcement Learning (RL) for post-pretraining, such as RL with Verifiable Rewards (RLVR) for objective tasks and RL from Human Feedback (RLHF) for subjective tasks. However, RLHF incurs high costs and potential reward-policy mismatch due to reliance on human preferences, while RLVR still wastes supervision by discarding rollouts and correctness signals after each update. To address these challenges, we introduce the Synergistic Policy And Reward Co-Evolving Framework (SPARK), an efficient, on-policy, and stable method that builds on RLVR. Instead of discarding rollouts and correctness data, SPARK recycles this valuable information to simultaneously train the model itself as a generative reward model. This auxiliary training uses a mix of objectives, such as pointwise reward score, pairwise comparison, and evaluation conditioned on further-reflection responses, to teach the model to evaluate and improve its own responses. Our process eliminates the need for a separate reward model and costly human preference data. SPARK creates a positive co-evolving feedback loop: improved reward accuracy yields better policy gradients, which in turn produce higher-quality rollouts that further refine the reward model. Our unified framework supports test-time scaling via self-reflection without external reward models and their associated costs. We show that SPARK achieves significant performance gains on multiple LLM and LVLM models and multiple reasoning, reward models, and general benchmarks. For example, SPARK-VL-7B achieves an average 9.7% gain on 7 reasoning benchmarks, 12.1% on 2 reward benchmarks, and 1.5% on 8 general benchmarks over the baselines, demonstrating robustness and broad generalization.

SPARK: Синергетическая структура совместной эволюции политики и вознаграждения

SPARK: Synergistic Policy And Reward Co-Evolving Framework

Аннотация

Support