Distillation de Séquences à Alignement de Distribution pour un Raisonnement Long-CoT Supérieur

Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning

January 14, 2026

papers.authors: Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

cs.AI

papers.abstract

Dans ce rapport, nous présentons DASD-4B-Thinking, un modèle de raisonnement léger mais très performant, entièrement open-source. Il atteint des performances SOTA parmi les modèles open-source d'échelle comparable sur divers benchmarks exigeants en mathématiques, en raisonnement scientifique et en génération de code – surpassant même plusieurs modèles plus volumineux. Nous commençons par réexaminer de manière critique un paradigme de distillation largement adopté par la communauté : le SFT sur les réponses générées par un enseignant, également connu sous le nom de distillation au niveau de la séquence. Bien qu'une série de travaux récents suivant ce schéma aient démontré une efficacité remarquable et de solides performances empiriques, ils s'ancrent principalement dans une perspective de SFT. Par conséquent, ces approches se concentrent de façon prédominante sur la conception de règles heuristiques pour le filtrage des données de SFT, tout en négligeant largement le principe fondamental de la distillation elle-même – permettre au modèle étudiant d'apprendre la distribution complète des sorties du modèle enseignant afin d'hériter de sa capacité de généralisation. Plus précisément, nous identifions trois limitations critiques dans les pratiques actuelles : i) Une représentation inadéquate de la distribution au niveau de la séquence de l'enseignant ; ii) Un désalignement entre la distribution des sorties de l'enseignant et la capacité d'apprentissage de l'étudiant ; et iii) Un biais d'exposition découlant de l'entraînement par enseignement forcé (teacher forcing) par opposition à l'inférence autorégressive. En résumé, ces lacunes reflètent une absence systémique d'interaction explicite entre l'enseignant et l'étudiant tout au long du processus de distillation, laissant l'essence même de la distillation sous-exploitée. Pour résoudre ces problèmes, nous proposons plusieurs innovations méthodologiques qui forment collectivement un pipeline d'entraînement amélioré pour la distillation au niveau de la séquence. Fait remarquable, DASD-4B-Thinking obtient des résultats compétitifs en utilisant seulement 448 000 échantillons d'entraînement – soit un ordre de grandeur de moins que ceux utilisés par la plupart des efforts open-source existants. Pour soutenir la recherche communautaire, nous publions librement nos modèles et l'ensemble de données d'entraînement.

English

In this report, we introduce DASD-4B-Thinking, a lightweight yet highly capable, fully open-source reasoning model. It achieves SOTA performance among open-source models of comparable scale across challenging benchmarks in mathematics, scientific reasoning, and code generation -- even outperforming several larger models. We begin by critically reexamining a widely adopted distillation paradigm in the community: SFT on teacher-generated responses, also known as sequence-level distillation. Although a series of recent works following this scheme have demonstrated remarkable efficiency and strong empirical performance, they are primarily grounded in the SFT perspective. Consequently, these approaches focus predominantly on designing heuristic rules for SFT data filtering, while largely overlooking the core principle of distillation itself -- enabling the student model to learn the teacher's full output distribution so as to inherit its generalization capability. Specifically, we identify three critical limitations in current practice: i) Inadequate representation of the teacher's sequence-level distribution; ii) Misalignment between the teacher's output distribution and the student's learning capacity; and iii) Exposure bias arising from teacher-forced training versus autoregressive inference. In summary, these shortcomings reflect a systemic absence of explicit teacher-student interaction throughout the distillation process, leaving the essence of distillation underexploited. To address these issues, we propose several methodological innovations that collectively form an enhanced sequence-level distillation training pipeline. Remarkably, DASD-4B-Thinking obtains competitive results using only 448K training samples -- an order of magnitude fewer than those employed by most existing open-source efforts. To support community research, we publicly release our models and the training dataset.