**Как дообучить модель рассуждений? Фреймворк сотрудничества «учитель-ученик» для синтеза согласованных с учеником данных SFT**
How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data
March 23, 2026
Авторы: Zixian Huang, Kaichen Yang, Xu Huang, Feiyang Hao, Qiming Ge, Bowen Li, He Du, Kai Chen, Qipeng Guo
cs.AI
Аннотация
Распространенной стратегией улучшения моделей является использование синтетических данных, сгенерированных более мощной моделью, для контролируемого тонкого настройки (SFT). Однако для новых моделей логического вывода, таких как Qwen3-8B, этот подход часто не позволяет улучшить способности к рассуждению и может даже привести к значительному падению производительности. В данной работе мы выявляем существенное стилистическое расхождение между данными, сгенерированными моделью-учителем, и распределением модели-ученика как ключевой фактор, влияющий на SFT. Чтобы устранить этот разрыв, мы предлагаем фреймворк синтеза данных с кооперацией учителя и ученика (TESSY), в котором модели учителя и ученика чередуются для попеременной генерации стилистических и не-стилистических токенов. В результате TESSY производит синтетические последовательности, которые наследуют продвинутые способности к рассуждению от учителя, сохраняя при этом стилистическую согласованность с распределением ученика. В экспериментах по генерации кода с использованием GPT-OSS-120B в качестве учителя, тонкая настройка Qwen3-8B на данных, сгенерированных учителем, приводит к падению производительности на 3.25% на LiveCodeBench-Pro и на 10.02% на OJBench, тогда как TESSY демонстрирует улучшения на 11.25% и 6.68% соответственно.
English
A widely adopted strategy for model enhancement is to use synthetic data generated by a stronger model for supervised fine-tuning (SFT). However, for emerging reasoning models like Qwen3-8B, this approach often fails to improve reasoning capabilities and can even lead to a substantial drop in performance. In this work, we identify substantial stylistic divergence between teacher generated data and the distribution of student as a major factor impacting SFT. To bridge this gap, we propose a Teacher-Student Cooperation Data Synthesis framework (TESSY), which interleaves teacher and student models to alternately generate style and non-style tokens. Consequently, TESSY produces synthetic sequences that inherit the advanced reasoning capabilities of the teacher while maintaining stylistic consistency with the distribution of the student. In experiments on code generation using GPT-OSS-120B as the teacher, fine-tuning Qwen3-8B on teacher-generated data leads to performance drops of 3.25% on LiveCodeBench-Pro and 10.02% on OJBench, whereas TESSY achieves improvements of 11.25% and 6.68%.