За пределами компромисса: самообучающееся обучение с подкреплением для моделей рассуждений, следующих инструкциям

Beyond the Trade-off: Self-Supervised Reinforcement Learning for Reasoning Models' Instruction Following

August 4, 2025

Авторы: Qingyu Ren, Qianyu He, Bowei Zhang, Jie Zeng, Jiaqing Liang, Yanghua Xiao, Weikang Zhou, Zeye Sun, Fei Yu

cs.AI

Аннотация

Модели рассуждений демонстрируют выдающиеся результаты в решении сложных задач, однако между их способностью к рассуждению и следованию инструкциям наблюдается тревожный компромисс. Существующие подходы к улучшению следования инструкциям опираются на более мощные внешние модели, что создает методологические узкие места и практические ограничения, включая увеличение затрат и ограничения доступности. Мы предлагаем самообучаемую RL-структуру, которая использует внутренние сигналы самих моделей рассуждений для улучшения их способности следовать инструкциям без внешнего контроля. Многочисленные эксперименты показывают, что наша структура значительно улучшает способность следовать инструкциям, сохраняя при этом производительность в рассуждениях, предлагая масштабируемый и экономически эффективный подход к улучшению этой способности в моделях рассуждений. Данные и код доступны публично по адресу https://github.com/Rainier-rq/verl-if.

English

Reasoning models excel in complex problem solving but exhibit a concerning trade off between reasoning capabilities and instruction following abilities. Existing approaches for improving instruction following rely on stronger external models, creating methodological bottlenecks and practical limitations including increased costs and accessibility constraints. We propose a self-supervised RL framework that leverages reasoning models' own internal signals to improve instruction following capabilities without external supervision. Extensive experiments demonstrate that our framework significantly improves instruction following capabilities while maintaining reasoning performance, offering a scalable and cost-effective approach to enhance instruction following in reasoning models. The data and code are publicly available at https://github.com/Rainier-rq/verl-if.