推論モデルをどのようにファインチューニングするか？教師-生徒協調フレームワークによる生徒整合的なSFTデータ合成手法

要旨

モデル強化において広く採用されている戦略は、より強力なモデルが生成した合成データを用いて教師ありファインチューニング（SFT）を実施する手法である。しかし、Qwen3-8Bのような新興の推論モデルでは、このアプローチは推論能力の向上に寄与せず、むしろ性能を大幅に低下させる場合が多い。本研究では、教師モデルが生成するデータと生徒モデルの分布との間に生じる大きなスタイルの相違が、SFTに影響を与える主要因であることを明らかにする。この隔たりを埋めるため、教師モデルと生徒モデルを交互に動作させ、スタイルトークンと非スタイルトークンを交互に生成するTeacher-Student Cooperation Data Synthesisフレームワーク（TESSY）を提案する。これにより、TESSYは教師モデルの高度な推論能力を継承しつつ、生徒モデルの分布とのスタイル一貫性を維持した合成シーケンスを生成する。GPT-OSS-120Bを教師モデルとしたコード生成実験では、教師モデル生成データでQwen3-8Bをファインチューニングすると、LiveCodeBench-Proで3.25%、OJBenchで10.02%の性能低下が生じたのに対し、TESSYではそれぞれ11.25%および6.68%の改善を達成した。

English

A widely adopted strategy for model enhancement is to use synthetic data generated by a stronger model for supervised fine-tuning (SFT). However, for emerging reasoning models like Qwen3-8B, this approach often fails to improve reasoning capabilities and can even lead to a substantial drop in performance. In this work, we identify substantial stylistic divergence between teacher generated data and the distribution of student as a major factor impacting SFT. To bridge this gap, we propose a Teacher-Student Cooperation Data Synthesis framework (TESSY), which interleaves teacher and student models to alternately generate style and non-style tokens. Consequently, TESSY produces synthetic sequences that inherit the advanced reasoning capabilities of the teacher while maintaining stylistic consistency with the distribution of the student. In experiments on code generation using GPT-OSS-120B as the teacher, fine-tuning Qwen3-8B on teacher-generated data leads to performance drops of 3.25% on LiveCodeBench-Pro and 10.02% on OJBench, whereas TESSY achieves improvements of 11.25% and 6.68%.

推論モデルをどのようにファインチューニングするか？教師-生徒協調フレームワークによる生徒整合的なSFTデータ合成手法

How to Fine-Tune a Reasoning Model? A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data

要旨

Support