De Vallei van Code Redeneren: Schaalbaarheid van Kennisdistillatie bij Grote Taalmodellen

The Valley of Code Reasoning: Scaling Knowledge Distillation of Large Language Models

October 7, 2025

Auteurs: Muyu He, Muhammad Ali Shafique, Anand Kumar, Tsach Mackey, Nazneen Rajani

cs.AI

Samenvatting

Het distilleren van denksporen van een groot taalmodel (LLM) met redeneervaardigheden naar een kleiner model is effectief gebleken. Toch is er weinig onderzoek gedaan naar hoe modelprestaties schalen met de hoeveelheid distillatiedata. In dit werk bestuderen we de schaaltrend van het distilleren van competitieve programmeervaardigheden op twee kleine niet-redenerende LLM's. We valideren de hypothese dat er een dal van coderedenering bestaat: de downstreamprestaties op competitief programmeren nemen eerst af naarmate de hoeveelheid data toeneemt, om vervolgens gestaag toe te nemen in een scherper-dan-log-lineair patroon. Nadat we deze trend hebben geïdentificeerd, fine-tunen we de modellen verder in twee verschillende distillatiefasen op dezelfde data om conclusies te grondvesten over hun respectievelijke leerfasen. We ontdekken dat in de lage en medium-lage dataregimes kleine modellen aanzienlijk meer baat hebben bij eenvoudigere programmeervragen dan bij moeilijkere. Verrassend genoeg vinden we ook dat de correctheid van uitvoer in de trainingsdata geen verschil maakt voor de distillatieresultaten. Ons werk vertegenwoordigt een stap voorwaarts in het begrijpen van de trainingsdynamiek van coderedeneringsdistillatie buiten intuïtie om.

English

Distilling the thinking traces of a Large Language Model (LLM) with reasoning capabilities into a smaller model has been proven effective. Yet, there is a scarcity of work done on how model performances scale with the quantity of distillation data. In this work, we study the scaling trend of distilling competitive coding skills on two small non-reasoning LLMs. We validate the hypothesis that there is a valley of code reasoning: downstream performance on competitive coding first drops as data quantity increases, then it steadily increases in a sharper-than-log-linear fashion. Having identified the trend, we further fine-tune the models at two different distillation stages on the same data to ground conclusions on their respective learning phases. We learn that across stages in the low and medium-low data regimes, small models benefit significantly from easier coding questions than from harder ones. We also find that, surprisingly, the correctness of outputs in training data makes no difference to distillation outcomes. Our work represents a step forward in understanding the training dynamics of code reasoning distillation outside intuition