Das Tal des Code-Verständnisses: Skalierung der Wissensdestillation großer Sprachmodelle

The Valley of Code Reasoning: Scaling Knowledge Distillation of Large Language Models

October 7, 2025

papers.authors: Muyu He, Muhammad Ali Shafique, Anand Kumar, Tsach Mackey, Nazneen Rajani

cs.AI

papers.abstract

Das Destillieren der Denkspuren eines Large Language Model (LLM) mit Argumentationsfähigkeiten in ein kleineres Modell hat sich als effektiv erwiesen. Dennoch gibt es nur wenige Arbeiten, die untersuchen, wie sich die Modellleistungen mit der Menge der Destillationsdaten skalieren. In dieser Arbeit untersuchen wir den Skalierungstrend beim Destillieren von wettbewerbsfähigen Programmierfähigkeiten in zwei kleine LLMs ohne Argumentationsfähigkeiten. Wir validieren die Hypothese, dass es ein Tal der Code-Argumentation gibt: Die nachgelagerte Leistung bei wettbewerbsfähigem Programmieren sinkt zunächst mit zunehmender Datenmenge, um dann in einer stärker-als-log-linearen Weise stetig anzusteigen. Nachdem wir diesen Trend identifiziert haben, feintunen wir die Modelle in zwei verschiedenen Destillationsphasen auf denselben Daten, um Schlussfolgerungen über ihre jeweiligen Lernphasen zu ziehen. Wir stellen fest, dass kleine Modelle in den niedrigen und mittel-niedrigen Datenregimen über alle Phasen hinweg signifikant stärker von einfacheren Programmierfragen profitieren als von schwierigeren. Überraschenderweise stellen wir auch fest, dass die Korrektheit der Ausgaben in den Trainingsdaten keinen Unterschied für die Destillationsergebnisse macht. Unsere Arbeit stellt einen Schritt vorwärts im Verständnis der Trainingsdynamiken der Code-Argumentationsdestillation jenseits der Intuition dar.

English

Distilling the thinking traces of a Large Language Model (LLM) with reasoning capabilities into a smaller model has been proven effective. Yet, there is a scarcity of work done on how model performances scale with the quantity of distillation data. In this work, we study the scaling trend of distilling competitive coding skills on two small non-reasoning LLMs. We validate the hypothesis that there is a valley of code reasoning: downstream performance on competitive coding first drops as data quantity increases, then it steadily increases in a sharper-than-log-linear fashion. Having identified the trend, we further fine-tune the models at two different distillation stages on the same data to ground conclusions on their respective learning phases. We learn that across stages in the low and medium-low data regimes, small models benefit significantly from easier coding questions than from harder ones. We also find that, surprisingly, the correctness of outputs in training data makes no difference to distillation outcomes. Our work represents a step forward in understanding the training dynamics of code reasoning distillation outside intuition