Распределительно-согласованное дистилляционное обучение последовательностей для превосходного длинного рассуждения с цепочкой мыслей

Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning

January 14, 2026

Авторы: Shaotian Yan, Kaiyuan Liu, Chen Shen, Bing Wang, Sinan Fan, Jun Zhang, Yue Wu, Zheng Wang, Jieping Ye

cs.AI

Аннотация

В данном отчете мы представляем DASD-4B-Thinking — легковесную, но высокопроизводительную и полностью открытую модель рассуждений. Она демонстрирует наилучшие результаты (SOTA) среди открытых моделей сопоставимого масштаба на сложных тестах по математике, научным рассуждениям и генерации кода, превосходя даже несколько более крупных моделей. Мы начинаем с критического переосмысления широко принятой в сообществе парадигмы дистилляции: обучения с учителем (SFT) на ответах, сгенерированных учителем, также известной как дистилляция на уровне последовательностей. Хотя ряд недавних работ, следующих этой схеме, продемонстрировали впечатляющую эффективность и высокую практическую результативность, они в основном основаны на перспективе SFT. Как следствие, эти подходы сосредоточены преимущественно на разработке эвристических правил для фильтрации данных SFT, в значительной степени упуская из виду основной принцип самой дистилляции — позволить модели-ученику изучить полное распределение выходных данных учителя, чтобы унаследовать его способность к обобщению. В частности, мы выделяем три критических ограничения в текущей практике: i) Неадекватное представление распределения учителя на уровне последовательности; ii) Несоответствие между распределением выходных данных учителя и обучающей способностью ученика; и iii) Смещение воздействия (exposure bias), возникающее из-за принудительного обучения на выходах учителя в противовес авторегрессионному выводу. В совокупности эти недостатки отражают системное отсутствие явного взаимодействия между учителем и учеником на протяжении всего процесса дистилляции, что оставляет её сущность нераскрытой. Для решения этих проблем мы предлагаем ряд методологических инноваций, которые в совокупности формируют усовершенствованный конвейер обучения для дистилляции на уровне последовательностей. Примечательно, что DASD-4B-Thinking достигает конкурентоспособных результатов, используя всего 448 тыс. обучающих примеров — на порядок меньше, чем использует большинство существующих открытых проектов. Для поддержки исследований сообщества мы публично выпускаем наши модели и обучающий набор данных.

English

In this report, we introduce DASD-4B-Thinking, a lightweight yet highly capable, fully open-source reasoning model. It achieves SOTA performance among open-source models of comparable scale across challenging benchmarks in mathematics, scientific reasoning, and code generation -- even outperforming several larger models. We begin by critically reexamining a widely adopted distillation paradigm in the community: SFT on teacher-generated responses, also known as sequence-level distillation. Although a series of recent works following this scheme have demonstrated remarkable efficiency and strong empirical performance, they are primarily grounded in the SFT perspective. Consequently, these approaches focus predominantly on designing heuristic rules for SFT data filtering, while largely overlooking the core principle of distillation itself -- enabling the student model to learn the teacher's full output distribution so as to inherit its generalization capability. Specifically, we identify three critical limitations in current practice: i) Inadequate representation of the teacher's sequence-level distribution; ii) Misalignment between the teacher's output distribution and the student's learning capacity; and iii) Exposure bias arising from teacher-forced training versus autoregressive inference. In summary, these shortcomings reflect a systemic absence of explicit teacher-student interaction throughout the distillation process, leaving the essence of distillation underexploited. To address these issues, we propose several methodological innovations that collectively form an enhanced sequence-level distillation training pipeline. Remarkably, DASD-4B-Thinking obtains competitive results using only 448K training samples -- an order of magnitude fewer than those employed by most existing open-source efforts. To support community research, we publicly release our models and the training dataset.