IFDECORATOR: Het inpakken van Reinforcement Learning voor Instructievolging met Verifieerbare Beloningen

IFDECORATOR: Wrapping Instruction Following Reinforcement Learning with Verifiable Rewards

August 6, 2025

Auteurs: Xu Guo, Tianyi Liang, Tong Jian, Xiaogui Yang, Ling-I Wu, Chenhui Li, Zhihui Lu, Qipeng Guo, Kai Chen

cs.AI

Samenvatting

Reinforcement Learning met Verifieerbare Beloningen (RLVR) verbetert de instructievolgcapaciteiten van grote taalmmodellen (LLMs), maar lijdt onder trainingsinefficiëntie door ontoereikende moeilijkheidsbeoordeling. Bovendien is RLVR gevoelig voor over-optimalisatie, waarbij LLMs verificatiesnelwegen exploiteren zonder zich te richten op de daadwerkelijke intentie van gebruikersinstructies. Wij introduceren de Instruction Following Decorator (IFDecorator), een raamwerk dat RLVR-training verpakt in een robuuste en sample-efficiënte pijplijn. Het bestaat uit drie componenten: (1) een coöperatief-adversariële data-flywheel die instructies en hybride verificaties co-evolueert, waardoor progressief uitdagendere instructie-verificatieparen worden gegenereerd; (2) IntentCheck, een bypass-module die intentie-uitlijning afdwingt; en (3) trip wires, een diagnostisch mechanisme dat beloningsmanipulatie detecteert via valinstructies, die snelweg-exploitatiegedrag activeren en vastleggen. Onze Qwen2.5-32B-Instruct-IFDecorator behaalt een nauwkeurigheid van 87,43% op IFEval, wat beter presteert dan grotere propriëtaire modellen zoals GPT-4o. Daarnaast tonen we aanzienlijke verbeteringen op FollowBench aan, terwijl algemene capaciteiten behouden blijven. Onze trip wires laten significante reducties zien in beloningsmanipulatiepercentages. Wij zullen modellen, code en data vrijgeven voor toekomstig onderzoek.

English

Reinforcement Learning with Verifiable Rewards (RLVR) improves instruction following capabilities of large language models (LLMs), but suffers from training inefficiency due to inadequate difficulty assessment. Moreover, RLVR is prone to over-optimization, where LLMs exploit verification shortcuts without aligning to the actual intent of user instructions. We introduce Instruction Following Decorator (IFDecorator}, a framework that wraps RLVR training into a robust and sample-efficient pipeline. It consists of three components: (1) a cooperative-adversarial data flywheel that co-evolves instructions and hybrid verifications, generating progressively more challenging instruction-verification pairs; (2) IntentCheck, a bypass module enforcing intent alignment; and (3) trip wires, a diagnostic mechanism that detects reward hacking via trap instructions, which trigger and capture shortcut exploitation behaviors. Our Qwen2.5-32B-Instruct-IFDecorator achieves 87.43% accuracy on IFEval, outperforming larger proprietary models such as GPT-4o. Additionally, we demonstrate substantial improvements on FollowBench while preserving general capabilities. Our trip wires show significant reductions in reward hacking rates. We will release models, code, and data for future research.