Au-delà du compromis : Apprentissage par renforcement auto-supervisé pour le suivi des instructions dans les modèles de raisonnement

Beyond the Trade-off: Self-Supervised Reinforcement Learning for Reasoning Models' Instruction Following

August 4, 2025

papers.authors: Qingyu Ren, Qianyu He, Bowei Zhang, Jie Zeng, Jiaqing Liang, Yanghua Xiao, Weikang Zhou, Zeye Sun, Fei Yu

cs.AI

papers.abstract

Les modèles de raisonnement excellent dans la résolution de problèmes complexes, mais présentent un compromis préoccupant entre leurs capacités de raisonnement et leur aptitude à suivre des instructions. Les approches existantes pour améliorer le suivi des instructions reposent sur des modèles externes plus puissants, ce qui crée des goulots d'étranglement méthodologiques et des limitations pratiques, notamment des coûts accrus et des contraintes d'accessibilité. Nous proposons un cadre d'apprentissage par renforcement auto-supervisé qui exploite les signaux internes des modèles de raisonnement eux-mêmes pour améliorer leur aptitude à suivre des instructions sans supervision externe. Des expériences approfondies démontrent que notre cadre améliore significativement les capacités de suivi des instructions tout en maintenant les performances de raisonnement, offrant ainsi une approche évolutive et rentable pour renforcer le suivi des instructions dans les modèles de raisonnement. Les données et le code sont disponibles publiquement à l'adresse suivante : https://github.com/Rainier-rq/verl-if.

English

Reasoning models excel in complex problem solving but exhibit a concerning trade off between reasoning capabilities and instruction following abilities. Existing approaches for improving instruction following rely on stronger external models, creating methodological bottlenecks and practical limitations including increased costs and accessibility constraints. We propose a self-supervised RL framework that leverages reasoning models' own internal signals to improve instruction following capabilities without external supervision. Extensive experiments demonstrate that our framework significantly improves instruction following capabilities while maintaining reasoning performance, offering a scalable and cost-effective approach to enhance instruction following in reasoning models. The data and code are publicly available at https://github.com/Rainier-rq/verl-if.