Distribuição Alinhada na Destilação de Sequências para Raciocínio Long-CoT Superior

Resumo

Neste relatório, apresentamos o DASD-4B-Thinking, um modelo de raciocínio leve, altamente capaz e totalmente de código aberto. Ele atinge desempenho de estado da arte (SOTA) entre os modelos de código aberto de escala comparável em benchmarks desafiadores de matemática, raciocínio científico e geração de código – superando até mesmo vários modelos maiores. Começamos por reexaminar criticamente um paradigma de destilação amplamente adotado na comunidade: o Fine-Tuning Supervisionado (SFT) em respostas geradas pelo professor, também conhecido como destilação em nível de sequência. Embora uma série de trabalhos recentes que seguem este esquema tenham demonstrado eficiência notável e forte desempenho empírico, eles estão fundamentados principalmente na perspectiva do SFT. Consequentemente, essas abordagens focam predominantemente na criação de regras heurísticas para a filtragem de dados de SFT, enquanto ignoram em grande parte o princípio central da destilação em si – permitir que o modelo aluno aprenda a distribuição completa de saída do professor para herdar sua capacidade de generalização. Especificamente, identificamos três limitações críticas na prática atual: i) Representação inadequada da distribuição do professor em nível de sequência; ii) Desalinhamento entre a distribuição de saída do professor e a capacidade de aprendizado do aluno; e iii) Viés de exposição decorrente do treinamento com forçagem do professor (teacher-forcing) versus a inferência autoregressiva. Em resumo, essas deficiências refletem uma ausência sistêmica de interação explícita entre professor e aluno ao longo do processo de destilação, deixando a essência da destilação subexplorada. Para resolver essas questões, propomos várias inovações metodológicas que, coletivamente, formam um *pipeline* de treinamento de destilação em nível de sequência aprimorado. Notavelmente, o DASD-4B-Thinking obtém resultados competitivos usando apenas 448 mil amostras de treinamento – uma ordem de grandeza menor do que a utilizada pela maioria dos esforços existentes de código aberto. Para apoiar a pesquisa da comunidade, disponibilizamos publicamente nossos modelos e o conjunto de dados de treinamento.

English

In this report, we introduce DASD-4B-Thinking, a lightweight yet highly capable, fully open-source reasoning model. It achieves SOTA performance among open-source models of comparable scale across challenging benchmarks in mathematics, scientific reasoning, and code generation -- even outperforming several larger models. We begin by critically reexamining a widely adopted distillation paradigm in the community: SFT on teacher-generated responses, also known as sequence-level distillation. Although a series of recent works following this scheme have demonstrated remarkable efficiency and strong empirical performance, they are primarily grounded in the SFT perspective. Consequently, these approaches focus predominantly on designing heuristic rules for SFT data filtering, while largely overlooking the core principle of distillation itself -- enabling the student model to learn the teacher's full output distribution so as to inherit its generalization capability. Specifically, we identify three critical limitations in current practice: i) Inadequate representation of the teacher's sequence-level distribution; ii) Misalignment between the teacher's output distribution and the student's learning capacity; and iii) Exposure bias arising from teacher-forced training versus autoregressive inference. In summary, these shortcomings reflect a systemic absence of explicit teacher-student interaction throughout the distillation process, leaving the essence of distillation underexploited. To address these issues, we propose several methodological innovations that collectively form an enhanced sequence-level distillation training pipeline. Remarkably, DASD-4B-Thinking obtains competitive results using only 448K training samples -- an order of magnitude fewer than those employed by most existing open-source efforts. To support community research, we publicly release our models and the training dataset.

Distribuição Alinhada na Destilação de Sequências para Raciocínio Long-CoT Superior

Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning

Resumo

Support