O Vale do Raciocínio de Código: Escalonando a Distilação de Conhecimento em Modelos de Linguagem de Grande Escala

The Valley of Code Reasoning: Scaling Knowledge Distillation of Large Language Models

October 7, 2025

Autores: Muyu He, Muhammad Ali Shafique, Anand Kumar, Tsach Mackey, Nazneen Rajani

cs.AI

Resumo

Destilar os traços de pensamento de um Modelo de Linguagem de Grande Escala (LLM) com capacidades de raciocínio em um modelo menor tem se mostrado eficaz. No entanto, há uma escassez de trabalhos sobre como o desempenho dos modelos escala com a quantidade de dados de destilação. Neste trabalho, estudamos a tendência de escalonamento da destilação de habilidades de programação competitiva em dois pequenos LLMs sem capacidade de raciocínio. Validamos a hipótese de que existe um vale de raciocínio de código: o desempenho subsequente em programação competitiva primeiro cai à medida que a quantidade de dados aumenta, depois aumenta de forma mais acentuada do que log-linear. Tendo identificado a tendência, ajustamos ainda mais os modelos em dois estágios diferentes de destilação nos mesmos dados para fundamentar conclusões sobre suas respectivas fases de aprendizado. Aprendemos que, em estágios nos regimes de dados baixos e médio-baixos, modelos pequenos se beneficiam significativamente de questões de programação mais fáceis do que de questões mais difíceis. Também descobrimos que, surpreendentemente, a correção das saídas nos dados de treinamento não faz diferença nos resultados da destilação. Nosso trabalho representa um passo adiante na compreensão da dinâmica de treinamento da destilação de raciocínio de código além da intuição.

English

Distilling the thinking traces of a Large Language Model (LLM) with reasoning capabilities into a smaller model has been proven effective. Yet, there is a scarcity of work done on how model performances scale with the quantity of distillation data. In this work, we study the scaling trend of distilling competitive coding skills on two small non-reasoning LLMs. We validate the hypothesis that there is a valley of code reasoning: downstream performance on competitive coding first drops as data quantity increases, then it steadily increases in a sharper-than-log-linear fashion. Having identified the trend, we further fine-tune the models at two different distillation stages on the same data to ground conclusions on their respective learning phases. We learn that across stages in the low and medium-low data regimes, small models benefit significantly from easier coding questions than from harder ones. We also find that, surprisingly, the correctness of outputs in training data makes no difference to distillation outcomes. Our work represents a step forward in understanding the training dynamics of code reasoning distillation outside intuition