Comment affiner un modèle de raisonnement ? Un cadre de coopération enseignant-élève pour synthétiser des données SFT cohérentes avec l'étudiant

How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data

March 23, 2026

Auteurs: Zixian Huang, Kaichen Yang, Xu Huang, Feiyang Hao, Qiming Ge, Bowen Li, He Du, Kai Chen, Qipeng Guo

cs.AI

Résumé

Une stratégie largement adoptée pour l'amélioration des modèles consiste à utiliser des données synthétiques générées par un modèle plus performant pour le fine-tuning supervisé (SFT). Cependant, pour les modèles émergents de raisonnement comme Qwen3-8B, cette approche échoue souvent à améliorer les capacités de raisonnement et peut même entraîner une baisse substantielle des performances. Dans ce travail, nous identifions une divergence stylistique importante entre les données générées par l'enseignant et la distribution de l'étudiant comme un facteur majeur impactant le SFT. Pour combler cet écart, nous proposons un cadre de synthèse de données par coopération enseignant-élève (TESSY), qui entrelace les modèles enseignant et élève pour générer alternativement des tokens de style et des tokens non stylistiques. Par conséquent, TESSY produit des séquences synthétiques qui héritent des capacités de raisonnement avancées de l'enseignant tout en maintenant une cohérence stylistique avec la distribution de l'élève. Dans les expériences sur la génération de code utilisant GPT-OSS-120B comme enseignant, le fine-tuning de Qwen3-8B sur des données générées par l'enseignant entraîne des baisses de performance de 3,25 % sur LiveCodeBench-Pro et 10,02 % sur OJBench, tandis que TESSY obtient des améliorations de 11,25 % et 6,68 %.

English

A widely adopted strategy for model enhancement is to use synthetic data generated by a stronger model for supervised fine-tuning (SFT). However, for emerging reasoning models like Qwen3-8B, this approach often fails to improve reasoning capabilities and can even lead to a substantial drop in performance. In this work, we identify substantial stylistic divergence between teacher generated data and the distribution of student as a major factor impacting SFT. To bridge this gap, we propose a Teacher-Student Cooperation Data Synthesis framework (TESSY), which interleaves teacher and student models to alternately generate style and non-style tokens. Consequently, TESSY produces synthetic sequences that inherit the advanced reasoning capabilities of the teacher while maintaining stylistic consistency with the distribution of the student. In experiments on code generation using GPT-OSS-120B as the teacher, fine-tuning Qwen3-8B on teacher-generated data leads to performance drops of 3.25% on LiveCodeBench-Pro and 10.02% on OJBench, whereas TESSY achieves improvements of 11.25% and 6.68%.