VerIF: Инженерия верификации для обучения с подкреплением в задачах следования инструкциям

VerIF: Verification Engineering for Reinforcement Learning in Instruction Following

June 11, 2025

Авторы: Hao Peng, Yunjia Qi, Xiaozhi Wang, Bin Xu, Lei Hou, Juanzi Li

cs.AI

Аннотация

Обучение с подкреплением с верифицируемыми наградами (RLVR) стало ключевой техникой для улучшения больших языковых моделей (LLM), где инженерия верификации играет центральную роль. Однако лучшие практики RL для выполнения инструкций остаются недостаточно изученными. В данной работе мы исследуем проблему верификации в RL для выполнения инструкций и предлагаем VerIF — метод верификации, который сочетает проверку на основе правил с верификацией на основе LLM с использованием крупной модели рассуждений (например, QwQ-32B). Для поддержки этого подхода мы создаем высококачественный набор данных для выполнения инструкций, VerInstruct, содержащий около 22 000 примеров с соответствующими сигналами верификации. Мы применяем обучение с подкреплением с использованием VerIF к двум моделям, достигая значительных улучшений на нескольких репрезентативных тестах выполнения инструкций. Обученные модели демонстрируют наилучшие результаты среди моделей сопоставимого размера и хорошо обобщаются на неизвестные ограничения. Мы также наблюдаем, что их общие способности остаются неизменными, что позволяет предположить, что RL с VerIF может быть интегрирован в существующие рецепты RL для повышения общей производительности модели. Мы опубликовали наши наборы данных, код и модели для содействия будущим исследованиям на https://github.com/THU-KEG/VerIF.

English

Reinforcement learning with verifiable rewards (RLVR) has become a key technique for enhancing large language models (LLMs), with verification engineering playing a central role. However, best practices for RL in instruction following remain underexplored. In this work, we explore the verification challenge in RL for instruction following and propose VerIF, a verification method that combines rule-based code verification with LLM-based verification from a large reasoning model (e.g., QwQ-32B). To support this approach, we construct a high-quality instruction-following dataset, VerInstruct, containing approximately 22,000 instances with associated verification signals. We apply RL training with VerIF to two models, achieving significant improvements across several representative instruction-following benchmarks. The trained models reach state-of-the-art performance among models of comparable size and generalize well to unseen constraints. We further observe that their general capabilities remain unaffected, suggesting that RL with VerIF can be integrated into existing RL recipes to enhance overall model performance. We have released our datasets, codes, and models to facilitate future research at https://github.com/THU-KEG/VerIF.