Verteilungsabgestimmte Sequenzdistillation für überlegene Long-CoT-Argumentation

papers.abstract

In diesem Bericht stellen wir DASD-4B-Thinking vor, ein leichtgewichtiges, aber leistungsstarkes, vollständig quelloffenes Reasoning-Modell. Es erzielt SOTA-Leistungen unter quelloffenen Modellen vergleichbarer Größe in anspruchsvollen Benchmarks für Mathematik, wissenschaftliches Reasoning und Code-Generierung – und übertrifft dabei sogar mehrere größere Modelle. Wir beginnen mit einer kritischen Neubewertung eines in der Community weit verbreiteten Distillationsparadigmas: Supervised Fine-Tuning (SFT) auf von einem Lehrermodell generierten Antworten, auch bekannt als Sequenz-level-Distillation. Obwohl eine Reihe aktueller Arbeiten, die diesem Schema folgen, bemerkenswerte Effizienz und starke empirische Leistung demonstriert haben, sind sie primär in der SFT-Perspektive verankert. Folglich konzentrieren sich diese Ansätze überwiegend auf das Design heuristischer Regeln für die SFT-Datenfilterung, während sie das Kernprinzip der Distillation selbst weitgehend vernachlässigen – dem Schüler-Modell zu ermöglichen, die vollständige Ausgabeverteilung des Lehrers zu erlernen, um dessen Generalisierungsfähigkeit zu übernehmen. Konkret identifizieren wir drei kritische Einschränkungen in der aktuellen Praxis: i) Eine unzureichende Abbildung der Sequenz-level-Verteilung des Lehrers; ii) Eine Fehlausrichtung zwischen der Ausgabeverteilung des Lehrers und der Lernkapazität des Schülers; und iii) Exposure Bias, der sich aus dem teacher-forced Training im Gegensatz zum autoregressiven Inferenzmodus ergibt. Zusammenfassend lässt sich sagen, dass diese Mängel eine systemische Abwesenheit expliziter Lehrer-Schüler-Interaktion während des gesamten Distillationsprozesses widerspiegeln, wodurch das Wesen der Distillation unzureichend genutzt wird. Um diese Probleme zu adressieren, schlagen wir mehrere methodische Innovationen vor, die gemeinsam eine verbesserte Trainings-Pipeline für Sequenz-level-Distillation bilden. Bemerkenswerterweise erzielt DASD-4B-Thinking konkurrenzfähige Ergebnisse mit nur 448K Trainingsbeispielen – eine Größenordnung weniger, als von den meisten bestehenden quelloffenen Bemühungen verwendet wird. Um die Forschung in der Community zu unterstützen, veröffentlichen wir unsere Modelle und den Trainingsdatensatz öffentlich.

English

In this report, we introduce DASD-4B-Thinking, a lightweight yet highly capable, fully open-source reasoning model. It achieves SOTA performance among open-source models of comparable scale across challenging benchmarks in mathematics, scientific reasoning, and code generation -- even outperforming several larger models. We begin by critically reexamining a widely adopted distillation paradigm in the community: SFT on teacher-generated responses, also known as sequence-level distillation. Although a series of recent works following this scheme have demonstrated remarkable efficiency and strong empirical performance, they are primarily grounded in the SFT perspective. Consequently, these approaches focus predominantly on designing heuristic rules for SFT data filtering, while largely overlooking the core principle of distillation itself -- enabling the student model to learn the teacher's full output distribution so as to inherit its generalization capability. Specifically, we identify three critical limitations in current practice: i) Inadequate representation of the teacher's sequence-level distribution; ii) Misalignment between the teacher's output distribution and the student's learning capacity; and iii) Exposure bias arising from teacher-forced training versus autoregressive inference. In summary, these shortcomings reflect a systemic absence of explicit teacher-student interaction throughout the distillation process, leaving the essence of distillation underexploited. To address these issues, we propose several methodological innovations that collectively form an enhanced sequence-level distillation training pipeline. Remarkably, DASD-4B-Thinking obtains competitive results using only 448K training samples -- an order of magnitude fewer than those employed by most existing open-source efforts. To support community research, we publicly release our models and the training dataset.

Verteilungsabgestimmte Sequenzdistillation für überlegene Long-CoT-Argumentation

Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning

papers.abstract

Support