Hoe een Redeneermodel Af te Stemmen? Een Leraar-Leerling Samenwerkingsraamwerk om Leerlingconsistente SFT-gegevens te Synthetiseren
How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data
March 23, 2026
Auteurs: Zixian Huang, Kaichen Yang, Xu Huang, Feiyang Hao, Qiming Ge, Bowen Li, He Du, Kai Chen, Qipeng Guo
cs.AI
Samenvatting
Een veelgebruikte strategie voor modelverbetering is het gebruik van synthetische data gegenereerd door een sterker model voor supervised fine-tuning (SFT). Voor opkomende redeneermodellen zoals Qwen3-8B leidt deze aanpak echter vaak niet tot verbeterde redeneervaardigheden en kan deze zelfs een aanzienlijke prestatievermindering veroorzaken. In dit werk identificeren we een substantiële stilistische divergentie tussen door de leraar gegenereerde data en de verdeling van de leerling als een belangrijke factor die SFT beïnvloedt. Om deze kloof te overbruggen, stellen we een Teacher-Student Cooperation Data Synthesis raamwerk (TESSY) voor, waarbij leraar- en leerlingmodellen worden afgewisseld om stijl- en niet-stijltokens afwisselend te genereren. Hierdoor produceert TESSY synthetische reeksen die de geavanceerde redeneercapaciteiten van de leraar erven, terwijl ze stilistisch consistent blijven met de verdeling van de leerling. In experimenten met codegeneratie, waarbij GPT-OSS-120B als leraar wordt gebruikt, leidt fine-tuning van Qwen3-8B op door de leraar gegenereerde data tot prestatieverliezen van 3,25% op LiveCodeBench-Pro en 10,02% op OJBench, terwijl TESSY verbeteringen van respectievelijk 11,25% en 6,68% bereikt.
English
A widely adopted strategy for model enhancement is to use synthetic data generated by a stronger model for supervised fine-tuning (SFT). However, for emerging reasoning models like Qwen3-8B, this approach often fails to improve reasoning capabilities and can even lead to a substantial drop in performance. In this work, we identify substantial stylistic divergence between teacher generated data and the distribution of student as a major factor impacting SFT. To bridge this gap, we propose a Teacher-Student Cooperation Data Synthesis framework (TESSY), which interleaves teacher and student models to alternately generate style and non-style tokens. Consequently, TESSY produces synthetic sequences that inherit the advanced reasoning capabilities of the teacher while maintaining stylistic consistency with the distribution of the student. In experiments on code generation using GPT-OSS-120B as the teacher, fine-tuning Qwen3-8B on teacher-generated data leads to performance drops of 3.25% on LiveCodeBench-Pro and 10.02% on OJBench, whereas TESSY achieves improvements of 11.25% and 6.68%.