IFDECORATOR: Обертывание обучения с подкреплением для выполнения инструкций с верифицируемыми наградами

IFDECORATOR: Wrapping Instruction Following Reinforcement Learning with Verifiable Rewards

August 6, 2025

Авторы: Xu Guo, Tianyi Liang, Tong Jian, Xiaogui Yang, Ling-I Wu, Chenhui Li, Zhihui Lu, Qipeng Guo, Kai Chen

cs.AI

Аннотация

Обучение с подкреплением с верифицируемыми наградами (RLVR) улучшает способности крупных языковых моделей (LLM) следовать инструкциям, но страдает от неэффективности обучения из-за недостаточной оценки сложности. Более того, RLVR склонно к избыточной оптимизации, когда LLM используют упрощенные способы верификации, не согласуясь с фактическим намерением пользовательских инструкций. Мы представляем Instruction Following Decorator (IFDecorator) — фреймворк, который интегрирует обучение RLVR в надежный и ресурсоэффективный процесс. Он состоит из трех компонентов: (1) кооперативно-адверсариального механизма обмена данными, который совместно развивает инструкции и гибридные верификации, генерируя постепенно усложняющиеся пары "инструкция-верификация"; (2) IntentCheck — модуля, обеспечивающего соответствие намерениям; и (3) "ловушек" — диагностического механизма, который выявляет манипуляции с наградами через инструкции-ловушки, активирующие и фиксирующие поведение, связанное с использованием упрощенных подходов. Наша модель Qwen2.5-32B-Instruct-IFDecorator достигает точности 87,43% на IFEval, превосходя более крупные проприетарные модели, такие как GPT-4o. Кроме того, мы демонстрируем значительные улучшения на FollowBench, сохраняя общие способности модели. Наши "ловушки" показывают существенное снижение уровня манипуляций с наградами. Мы опубликуем модели, код и данные для будущих исследований.

English

Reinforcement Learning with Verifiable Rewards (RLVR) improves instruction following capabilities of large language models (LLMs), but suffers from training inefficiency due to inadequate difficulty assessment. Moreover, RLVR is prone to over-optimization, where LLMs exploit verification shortcuts without aligning to the actual intent of user instructions. We introduce Instruction Following Decorator (IFDecorator}, a framework that wraps RLVR training into a robust and sample-efficient pipeline. It consists of three components: (1) a cooperative-adversarial data flywheel that co-evolves instructions and hybrid verifications, generating progressively more challenging instruction-verification pairs; (2) IntentCheck, a bypass module enforcing intent alignment; and (3) trip wires, a diagnostic mechanism that detects reward hacking via trap instructions, which trigger and capture shortcut exploitation behaviors. Our Qwen2.5-32B-Instruct-IFDecorator achieves 87.43% accuracy on IFEval, outperforming larger proprietary models such as GPT-4o. Additionally, we demonstrate substantial improvements on FollowBench while preserving general capabilities. Our trip wires show significant reductions in reward hacking rates. We will release models, code, and data for future research.