El Valle del Razonamiento de Código: Escalando la Distilación de Conocimiento en Modelos de Lenguaje de Gran Escala

The Valley of Code Reasoning: Scaling Knowledge Distillation of Large Language Models

October 7, 2025

Autores: Muyu He, Muhammad Ali Shafique, Anand Kumar, Tsach Mackey, Nazneen Rajani

cs.AI

Resumen

Distilar las huellas de pensamiento de un Modelo de Lenguaje de Gran Escala (LLM, por sus siglas en inglés) con capacidades de razonamiento en un modelo más pequeño ha demostrado ser efectivo. Sin embargo, existe una escasez de trabajos que exploren cómo el rendimiento del modelo escala con la cantidad de datos de destilación. En este trabajo, estudiamos la tendencia de escalabilidad al destilar habilidades de programación competitiva en dos pequeños LLM sin capacidades de razonamiento. Validamos la hipótesis de que existe un valle de razonamiento de código: el rendimiento en tareas de programación competitiva primero disminuye a medida que aumenta la cantidad de datos, y luego aumenta de manera más pronunciada que una tendencia log-lineal. Tras identificar esta tendencia, afinamos los modelos en dos etapas diferentes de destilación utilizando los mismos datos para fundamentar conclusiones sobre sus respectivas fases de aprendizaje. Descubrimos que, en regímenes de datos bajos y medio-bajos, los modelos pequeños se benefician significativamente más de preguntas de programación más fáciles que de las más difíciles. También encontramos que, sorprendentemente, la corrección de las salidas en los datos de entrenamiento no influye en los resultados de la destilación. Nuestro trabajo representa un avance en la comprensión de la dinámica de entrenamiento de la destilación de razonamiento de código más allá de la intuición.

English

Distilling the thinking traces of a Large Language Model (LLM) with reasoning capabilities into a smaller model has been proven effective. Yet, there is a scarcity of work done on how model performances scale with the quantity of distillation data. In this work, we study the scaling trend of distilling competitive coding skills on two small non-reasoning LLMs. We validate the hypothesis that there is a valley of code reasoning: downstream performance on competitive coding first drops as data quantity increases, then it steadily increases in a sharper-than-log-linear fashion. Having identified the trend, we further fine-tune the models at two different distillation stages on the same data to ground conclusions on their respective learning phases. We learn that across stages in the low and medium-low data regimes, small models benefit significantly from easier coding questions than from harder ones. We also find that, surprisingly, the correctness of outputs in training data makes no difference to distillation outcomes. Our work represents a step forward in understanding the training dynamics of code reasoning distillation outside intuition