Distillazione Sequenziale Allineata alla Distribuzione per un Ragionamento Long-CoT Superiore

Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning

January 14, 2026

Autori: Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

cs.AI

Abstract

In questo rapporto presentiamo DASD-4B-Thinking, un modello di ragionamento leggero ma altamente capace, completamente open-source. Il modello raggiunge prestazioni allo stato dell'arte (SOTA) tra i modelli open-source di scala comparabile su benchmark impegnativi in matematica, ragionamento scientifico e generazione di codice, superando persino diversi modelli più grandi. Iniziamo riesaminando criticamente un paradigma di distillazione ampiamente adottato dalla comunità: il Fine-Tuning Supervisionato (SFT) su risposte generate dal docente, noto anche come distillazione a livello di sequenza. Sebbene una serie di lavori recenti che seguono questo schema abbiano dimostrato un'efficienza notevole e solide performance empiriche, essi sono principalmente ancorati alla prospettiva del SFT. Di conseguenza, questi approcci si concentrano prevalentemente sulla progettazione di regole euristiche per il filtraggio dei dati per il SFT, trascurando in larga misura il principio cardine della distillazione stessa: permettere al modello studente di apprendere l'intera distribuzione di output del docente per ereditarne la capacità di generalizzazione. Nello specifico, identifichiamo tre limitazioni critiche nella pratica corrente: i) Rappresentazione inadeguata della distribuzione a livello di sequenza del docente; ii) Disallineamento tra la distribuzione di output del docente e la capacità di apprendimento dello studente; e iii) Bias di esposizione (exposure bias) derivante dall'addestramento con forzatura del docente (teacher-forced) rispetto all'inferenza autoregressiva. In sintesi, queste carenze riflettono un'assenza sistemica di un'esplicita interazione docente-studente durante l'intero processo di distillazione, lasciando l'essenza della distillazione stessa non sfruttata appieno. Per affrontare questi problemi, proponiamo diverse innovazioni metodologiche che collettivamente formano una pipeline di addestramento per la distillazione a livello di sequenza potenziata. Notevolmente, DASD-4B-Thinking ottiene risultati competitivi utilizzando solo 448K campioni di addestramento – un ordine di grandezza inferiore rispetto a quelli impiegati dalla maggior parte degli sforzi open-source esistenti. Per supportare la ricerca della comunità, rendiamo pubblicamente disponibili i nostri modelli e il dataset di addestramento.

English

In this report, we introduce DASD-4B-Thinking, a lightweight yet highly capable, fully open-source reasoning model. It achieves SOTA performance among open-source models of comparable scale across challenging benchmarks in mathematics, scientific reasoning, and code generation -- even outperforming several larger models. We begin by critically reexamining a widely adopted distillation paradigm in the community: SFT on teacher-generated responses, also known as sequence-level distillation. Although a series of recent works following this scheme have demonstrated remarkable efficiency and strong empirical performance, they are primarily grounded in the SFT perspective. Consequently, these approaches focus predominantly on designing heuristic rules for SFT data filtering, while largely overlooking the core principle of distillation itself -- enabling the student model to learn the teacher's full output distribution so as to inherit its generalization capability. Specifically, we identify three critical limitations in current practice: i) Inadequate representation of the teacher's sequence-level distribution; ii) Misalignment between the teacher's output distribution and the student's learning capacity; and iii) Exposure bias arising from teacher-forced training versus autoregressive inference. In summary, these shortcomings reflect a systemic absence of explicit teacher-student interaction throughout the distillation process, leaving the essence of distillation underexploited. To address these issues, we propose several methodological innovations that collectively form an enhanced sequence-level distillation training pipeline. Remarkably, DASD-4B-Thinking obtains competitive results using only 448K training samples -- an order of magnitude fewer than those employed by most existing open-source efforts. To support community research, we publicly release our models and the training dataset.