Oltre il compromesso: Apprendimento per rinforzo auto-supervisionato per il rispetto delle istruzioni nei modelli di ragionamento

Beyond the Trade-off: Self-Supervised Reinforcement Learning for Reasoning Models' Instruction Following

August 4, 2025

Autori: Qingyu Ren, Qianyu He, Bowei Zhang, Jie Zeng, Jiaqing Liang, Yanghua Xiao, Weikang Zhou, Zeye Sun, Fei Yu

cs.AI

Abstract

I modelli di ragionamento eccellono nella risoluzione di problemi complessi, ma mostrano un preoccupante compromesso tra capacità di ragionamento e abilità di seguire le istruzioni. Gli approcci esistenti per migliorare il rispetto delle istruzioni si basano su modelli esterni più potenti, creando colli di bottiglia metodologici e limitazioni pratiche, tra cui costi più elevati e vincoli di accessibilità. Proponiamo un framework di apprendimento per rinforzo auto-supervisionato che sfrutta i segnali interni dei modelli di ragionamento per migliorare le capacità di seguire le istruzioni senza supervisione esterna. Esperimenti estensivi dimostrano che il nostro framework migliora significativamente le capacità di seguire le istruzioni mantenendo le prestazioni di ragionamento, offrendo un approccio scalabile e conveniente per migliorare il rispetto delle istruzioni nei modelli di ragionamento. I dati e il codice sono disponibili pubblicamente all'indirizzo https://github.com/Rainier-rq/verl-if.

English

Reasoning models excel in complex problem solving but exhibit a concerning trade off between reasoning capabilities and instruction following abilities. Existing approaches for improving instruction following rely on stronger external models, creating methodological bottlenecks and practical limitations including increased costs and accessibility constraints. We propose a self-supervised RL framework that leverages reasoning models' own internal signals to improve instruction following capabilities without external supervision. Extensive experiments demonstrate that our framework significantly improves instruction following capabilities while maintaining reasoning performance, offering a scalable and cost-effective approach to enhance instruction following in reasoning models. The data and code are publicly available at https://github.com/Rainier-rq/verl-if.