Jenseits des Kompromisses: Selbstüberwachtes Verstärkungslernen für die Befolgung von Anweisungen durch Reasoning-Modelle

Beyond the Trade-off: Self-Supervised Reinforcement Learning for Reasoning Models' Instruction Following

August 4, 2025

papers.authors: Qingyu Ren, Qianyu He, Bowei Zhang, Jie Zeng, Jiaqing Liang, Yanghua Xiao, Weikang Zhou, Zeye Sun, Fei Yu

cs.AI

papers.abstract

Vernunftmodelle zeichnen sich in der Lösung komplexer Probleme aus, zeigen jedoch einen besorgniserregenden Kompromiss zwischen ihren Fähigkeiten zur logischen Schlussfolgerung und der Befolgung von Anweisungen. Bestehende Ansätze zur Verbesserung der Anweisungsbefolgung stützen sich auf stärkere externe Modelle, was methodische Engpässe und praktische Einschränkungen wie erhöhte Kosten und Zugänglichkeitsprobleme mit sich bringt. Wir schlagen ein selbstüberwachtes RL-Framework (Reinforcement Learning) vor, das die internen Signale der Vernunftmodelle nutzt, um die Fähigkeit zur Anweisungsbefolgung ohne externe Überwachung zu verbessern. Umfangreiche Experimente zeigen, dass unser Framework die Fähigkeit zur Anweisungsbefolgung signifikant steigert, während die logische Schlussfolgerungsleistung erhalten bleibt. Dies bietet einen skalierbaren und kosteneffizienten Ansatz zur Verbesserung der Anweisungsbefolgung in Vernunftmodellen. Die Daten und der Code sind öffentlich unter https://github.com/Rainier-rq/verl-if verfügbar.

English

Reasoning models excel in complex problem solving but exhibit a concerning trade off between reasoning capabilities and instruction following abilities. Existing approaches for improving instruction following rely on stronger external models, creating methodological bottlenecks and practical limitations including increased costs and accessibility constraints. We propose a self-supervised RL framework that leverages reasoning models' own internal signals to improve instruction following capabilities without external supervision. Extensive experiments demonstrate that our framework significantly improves instruction following capabilities while maintaining reasoning performance, offering a scalable and cost-effective approach to enhance instruction following in reasoning models. The data and code are publicly available at https://github.com/Rainier-rq/verl-if.