VerIF: Ingegneria della Verifica per l'Apprendimento per Rinforzo nel Seguimento delle Istruzioni

VerIF: Verification Engineering for Reinforcement Learning in Instruction Following

June 11, 2025

Autori: Hao Peng, Yunjia Qi, Xiaozhi Wang, Bin Xu, Lei Hou, Juanzi Li

cs.AI

Abstract

L'apprendimento per rinforzo con ricompense verificabili (RLVR) è diventato una tecnica chiave per migliorare i grandi modelli linguistici (LLM), con l'ingegneria della verifica che svolge un ruolo centrale. Tuttavia, le migliori pratiche per l'apprendimento per rinforzo nel seguire le istruzioni rimangono poco esplorate. In questo lavoro, esploriamo la sfida della verifica nell'apprendimento per rinforzo per il seguire le istruzioni e proponiamo VerIF, un metodo di verifica che combina la verifica del codice basata su regole con la verifica basata su LLM da un grande modello di ragionamento (ad esempio, QwQ-32B). Per supportare questo approccio, costruiamo un dataset di alta qualità per il seguire le istruzioni, VerInstruct, contenente circa 22.000 istanze con segnali di verifica associati. Applichiamo l'addestramento per rinforzo con VerIF a due modelli, ottenendo miglioramenti significativi su diversi benchmark rappresentativi per il seguire le istruzioni. I modelli addestrati raggiungono prestazioni all'avanguardia tra i modelli di dimensioni comparabili e si generalizzano bene a vincoli non visti. Osserviamo inoltre che le loro capacità generali rimangono inalterate, suggerendo che l'apprendimento per rinforzo con VerIF può essere integrato nelle ricette esistenti di RL per migliorare le prestazioni complessive del modello. Abbiamo rilasciato i nostri dataset, codici e modelli per facilitare la ricerca futura all'indirizzo https://github.com/THU-KEG/VerIF.

English

Reinforcement learning with verifiable rewards (RLVR) has become a key technique for enhancing large language models (LLMs), with verification engineering playing a central role. However, best practices for RL in instruction following remain underexplored. In this work, we explore the verification challenge in RL for instruction following and propose VerIF, a verification method that combines rule-based code verification with LLM-based verification from a large reasoning model (e.g., QwQ-32B). To support this approach, we construct a high-quality instruction-following dataset, VerInstruct, containing approximately 22,000 instances with associated verification signals. We apply RL training with VerIF to two models, achieving significant improvements across several representative instruction-following benchmarks. The trained models reach state-of-the-art performance among models of comparable size and generalize well to unseen constraints. We further observe that their general capabilities remain unaffected, suggesting that RL with VerIF can be integrated into existing RL recipes to enhance overall model performance. We have released our datasets, codes, and models to facilitate future research at https://github.com/THU-KEG/VerIF.