コード推論の谷：大規模言語モデルの知識蒸留のスケーリング

要旨

大規模言語モデル（LLM）の推論能力を反映した思考の痕跡を、より小規模なモデルに蒸留することが有効であることが証明されている。しかし、蒸留データの量に応じてモデルの性能がどのようにスケールするかに関する研究は不足している。本研究では、2つの小規模な非推論型LLMに対して、競技プログラミングスキルの蒸留におけるスケーリング傾向を調査する。我々は、コード推論における「谷」が存在するという仮説を検証する。具体的には、競技プログラミングにおける下流タスクの性能は、データ量が増加するにつれて最初に低下し、その後、対数線形よりも急峻な形で着実に向上することを確認した。この傾向を特定した後、異なる蒸留段階において同一データを用いてモデルをさらに微調整し、それぞれの学習段階における結論を裏付けた。その結果、低データ量および中低データ量の領域では、小規模モデルが難しいコーディング問題よりも容易な問題から大きな恩恵を受けることが明らかとなった。また、驚くべきことに、トレーニングデータにおける出力の正しさは、蒸留結果に影響を与えないことも判明した。本研究は、直感を超えたコード推論蒸留のトレーニングダイナミクスを理解するための一歩前進を表している。

English

Distilling the thinking traces of a Large Language Model (LLM) with reasoning capabilities into a smaller model has been proven effective. Yet, there is a scarcity of work done on how model performances scale with the quantity of distillation data. In this work, we study the scaling trend of distilling competitive coding skills on two small non-reasoning LLMs. We validate the hypothesis that there is a valley of code reasoning: downstream performance on competitive coding first drops as data quantity increases, then it steadily increases in a sharper-than-log-linear fashion. Having identified the trend, we further fine-tune the models at two different distillation stages on the same data to ground conclusions on their respective learning phases. We learn that across stages in the low and medium-low data regimes, small models benefit significantly from easier coding questions than from harder ones. We also find that, surprisingly, the correctness of outputs in training data makes no difference to distillation outcomes. Our work represents a step forward in understanding the training dynamics of code reasoning distillation outside intuition

コード推論の谷：大規模言語モデルの知識蒸留のスケーリング

The Valley of Code Reasoning: Scaling Knowledge Distillation of Large Language Models

要旨

Support