IFDECORATOR: Verifizierbare Belohnungen für Reinforcement Learning zur Befolgung von Anweisungen

IFDECORATOR: Wrapping Instruction Following Reinforcement Learning with Verifiable Rewards

August 6, 2025

papers.authors: Xu Guo, Tianyi Liang, Tong Jian, Xiaogui Yang, Ling-I Wu, Chenhui Li, Zhihui Lu, Qipeng Guo, Kai Chen

cs.AI

papers.abstract

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) verbessert die Fähigkeiten großer Sprachmodelle (LLMs), Anweisungen zu befolgen, leidet jedoch unter Ineffizienz im Training aufgrund unzureichender Schwierigkeitsbewertung. Darüber hinaus neigt RLVR zur Überoptimierung, bei der LLMs Verifikationsabkürzungen ausnutzen, ohne sich an die eigentliche Absicht der Benutzeranweisungen zu halten. Wir stellen den Instruction Following Decorator (IFDecorator) vor, ein Framework, das das RLVR-Training in eine robuste und probeneffiziente Pipeline einbettet. Es besteht aus drei Komponenten: (1) einem kooperativ-adversarischen Datenflywheel, das Anweisungen und hybride Verifikationen gemeinsam weiterentwickelt und zunehmend anspruchsvollere Anweisungs-Verifikations-Paare erzeugt; (2) IntentCheck, ein Bypass-Modul, das die Absichtsausrichtung erzwingt; und (3) Stolperdrähte, ein Diagnosemechanismus, der Belohnungshacking durch Fallenanweisungen erkennt, die Ausnutzungsverhalten von Abkürzungen auslösen und erfassen. Unser Qwen2.5-32B-Instruct-IFDecorator erreicht eine Genauigkeit von 87,43 % auf IFEval und übertrifft damit größere proprietäre Modelle wie GPT-4o. Zudem zeigen wir erhebliche Verbesserungen auf FollowBench bei gleichzeitiger Bewahrung der allgemeinen Fähigkeiten. Unsere Stolperdrähte zeigen signifikante Reduktionen der Belohnungshacking-Raten. Wir werden Modelle, Code und Daten für zukünftige Forschung veröffentlichen.

English

Reinforcement Learning with Verifiable Rewards (RLVR) improves instruction following capabilities of large language models (LLMs), but suffers from training inefficiency due to inadequate difficulty assessment. Moreover, RLVR is prone to over-optimization, where LLMs exploit verification shortcuts without aligning to the actual intent of user instructions. We introduce Instruction Following Decorator (IFDecorator}, a framework that wraps RLVR training into a robust and sample-efficient pipeline. It consists of three components: (1) a cooperative-adversarial data flywheel that co-evolves instructions and hybrid verifications, generating progressively more challenging instruction-verification pairs; (2) IntentCheck, a bypass module enforcing intent alignment; and (3) trip wires, a diagnostic mechanism that detects reward hacking via trap instructions, which trigger and capture shortcut exploitation behaviors. Our Qwen2.5-32B-Instruct-IFDecorator achieves 87.43% accuracy on IFEval, outperforming larger proprietary models such as GPT-4o. Additionally, we demonstrate substantial improvements on FollowBench while preserving general capabilities. Our trip wires show significant reductions in reward hacking rates. We will release models, code, and data for future research.