VerIF: 指示追従における強化学習のための検証エンジニアリング

要旨

検証可能な報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLMs）の強化において重要な技術となり、検証エンジニアリングがその中心的な役割を果たしています。しかし、指示追従における強化学習のベストプラクティスはまだ十分に探究されていません。本研究では、指示追従のための強化学習における検証の課題を探り、ルールベースのコード検証と大規模推論モデル（例：QwQ-32B）に基づくLLM検証を組み合わせた検証手法VerIFを提案します。このアプローチを支援するため、約22,000のインスタンスと関連する検証信号を含む高品質な指示追従データセットVerInstructを構築しました。VerIFを用いた強化学習を2つのモデルに適用し、いくつかの代表的な指示追従ベンチマークで大幅な改善を達成しました。訓練されたモデルは、同規模のモデルの中で最先端の性能に到達し、未見の制約に対しても良好な汎化性能を示しました。さらに、モデルの一般的な能力が影響を受けないことも観察され、VerIFを用いた強化学習を既存の強化学習レシピに統合して全体的なモデル性能を向上させることが可能であることが示唆されます。今後の研究を促進するため、データセット、コード、およびモデルをhttps://github.com/THU-KEG/VerIFで公開しました。

English

Reinforcement learning with verifiable rewards (RLVR) has become a key technique for enhancing large language models (LLMs), with verification engineering playing a central role. However, best practices for RL in instruction following remain underexplored. In this work, we explore the verification challenge in RL for instruction following and propose VerIF, a verification method that combines rule-based code verification with LLM-based verification from a large reasoning model (e.g., QwQ-32B). To support this approach, we construct a high-quality instruction-following dataset, VerInstruct, containing approximately 22,000 instances with associated verification signals. We apply RL training with VerIF to two models, achieving significant improvements across several representative instruction-following benchmarks. The trained models reach state-of-the-art performance among models of comparable size and generalize well to unseen constraints. We further observe that their general capabilities remain unaffected, suggesting that RL with VerIF can be integrated into existing RL recipes to enhance overall model performance. We have released our datasets, codes, and models to facilitate future research at https://github.com/THU-KEG/VerIF.

VerIF: 指示追従における強化学習のための検証エンジニアリング

VerIF: Verification Engineering for Reinforcement Learning in Instruction Following

要旨

Support