IFDECORATOR: Avvolgere l'Apprendimento per Rinforzo nel Seguire le Istruzioni con Ricompense Verificabili

IFDECORATOR: Wrapping Instruction Following Reinforcement Learning with Verifiable Rewards

August 6, 2025

Autori: Xu Guo, Tianyi Liang, Tong Jian, Xiaogui Yang, Ling-I Wu, Chenhui Li, Zhihui Lu, Qipeng Guo, Kai Chen

cs.AI

Abstract

Il Reinforcement Learning con Ricompense Verificabili (RLVR) migliora le capacità di seguire le istruzioni nei grandi modelli linguistici (LLM), ma soffre di inefficienza nell'addestramento a causa di una valutazione inadeguata della difficoltà. Inoltre, l'RLVR è soggetto a sovra-ottimizzazione, in cui i LLM sfruttano scorciatoie di verifica senza allinearsi all'intento effettivo delle istruzioni dell'utente. Introduciamo Instruction Following Decorator (IFDecorator), un framework che integra l'addestramento RLVR in una pipeline robusta ed efficiente in termini di campioni. Esso è composto da tre componenti: (1) un volano di dati cooperativo-avversario che co-evolve istruzioni e verifiche ibride, generando coppie istruzione-verifica progressivamente più impegnative; (2) IntentCheck, un modulo di bypass che impone l'allineamento all'intento; e (3) trip wire, un meccanismo diagnostico che rileva il reward hacking tramite istruzioni trappola, che attivano e catturano comportamenti di sfruttamento delle scorciatoie. Il nostro Qwen2.5-32B-Instruct-IFDecorator raggiunge un'accuratezza dell'87,43% su IFEval, superando modelli proprietari più grandi come GPT-4o. Inoltre, dimostriamo miglioramenti sostanziali su FollowBench mantenendo le capacità generali. I nostri trip wire mostrano riduzioni significative nei tassi di reward hacking. Rilasceremo modelli, codice e dati per future ricerche.

English

Reinforcement Learning with Verifiable Rewards (RLVR) improves instruction following capabilities of large language models (LLMs), but suffers from training inefficiency due to inadequate difficulty assessment. Moreover, RLVR is prone to over-optimization, where LLMs exploit verification shortcuts without aligning to the actual intent of user instructions. We introduce Instruction Following Decorator (IFDecorator}, a framework that wraps RLVR training into a robust and sample-efficient pipeline. It consists of three components: (1) a cooperative-adversarial data flywheel that co-evolves instructions and hybrid verifications, generating progressively more challenging instruction-verification pairs; (2) IntentCheck, a bypass module enforcing intent alignment; and (3) trip wires, a diagnostic mechanism that detects reward hacking via trap instructions, which trigger and capture shortcut exploitation behaviors. Our Qwen2.5-32B-Instruct-IFDecorator achieves 87.43% accuracy on IFEval, outperforming larger proprietary models such as GPT-4o. Additionally, we demonstrate substantial improvements on FollowBench while preserving general capabilities. Our trip wires show significant reductions in reward hacking rates. We will release models, code, and data for future research.