La Valle del Ragionamento Codificato: Scalabilità della Distillazione della Conoscenza nei Modelli Linguistici di Grande Dimensione

The Valley of Code Reasoning: Scaling Knowledge Distillation of Large Language Models

October 7, 2025

Autori: Muyu He, Muhammad Ali Shafique, Anand Kumar, Tsach Mackey, Nazneen Rajani

cs.AI

Abstract

Distillare le tracce di pensiero di un Large Language Model (LLM) con capacità di ragionamento in un modello più piccolo si è dimostrato efficace. Tuttavia, c'è una scarsità di lavori che esaminano come le prestazioni del modello scalino con la quantità di dati di distillazione. In questo lavoro, studiamo l'andamento di scalabilità della distillazione di competenze di programmazione competitiva su due piccoli LLM privi di capacità di ragionamento. Validiamo l'ipotesi che esista una "valle del ragionamento sul codice": le prestazioni downstream nella programmazione competitiva inizialmente diminuiscono all'aumentare della quantità di dati, per poi aumentare costantemente in modo più rapido di una scala log-lineare. Dopo aver identificato questo trend, ottimizziamo ulteriormente i modelli in due diverse fasi di distillazione sugli stessi dati per trarre conclusioni sulle rispettive fasi di apprendimento. Scopriamo che, nelle fasi con quantità di dati bassa e medio-bassa, i modelli più piccoli traggono un vantaggio significativo da domande di programmazione più semplici rispetto a quelle più complesse. Inoltre, sorprendentemente, la correttezza degli output nei dati di addestramento non influisce sui risultati della distillazione. Il nostro lavoro rappresenta un passo avanti nella comprensione delle dinamiche di addestramento della distillazione del ragionamento sul codice, al di là dell'intuizione.

English

Distilling the thinking traces of a Large Language Model (LLM) with reasoning capabilities into a smaller model has been proven effective. Yet, there is a scarcity of work done on how model performances scale with the quantity of distillation data. In this work, we study the scaling trend of distilling competitive coding skills on two small non-reasoning LLMs. We validate the hypothesis that there is a valley of code reasoning: downstream performance on competitive coding first drops as data quantity increases, then it steadily increases in a sharper-than-log-linear fashion. Having identified the trend, we further fine-tune the models at two different distillation stages on the same data to ground conclusions on their respective learning phases. We learn that across stages in the low and medium-low data regimes, small models benefit significantly from easier coding questions than from harder ones. We also find that, surprisingly, the correctness of outputs in training data makes no difference to distillation outcomes. Our work represents a step forward in understanding the training dynamics of code reasoning distillation outside intuition