TinyR1-32B-Preview: Aumentando a Precisão com Destilação de Ramificação e Fusão

TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation

March 6, 2025

Autores: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Yuhan Wu, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Junfeng Ran, Sai-er Hu, Zihan Jiang, Junting Zhou, Wenrui Liu, Bin Cui, Tong Yang, Xiangzheng Zhang

cs.AI

Resumo

O desafio de reduzir o tamanho dos Modelos de Linguagem de Grande Escala (LLMs) enquanto mantém seu desempenho tem ganhado atenção significativa. No entanto, métodos existentes, como a destilação de modelos e a aprendizagem por transferência, frequentemente falham em alcançar alta precisão. Para abordar essa limitação, introduzimos a abordagem de destilação Branch-Merge, que aprimora a compressão de modelos por meio de duas fases: (1) a Fase Branch, onde o conhecimento de um grande modelo professor é destilado seletivamente em modelos estudantes especializados por meio de ajuste fino supervisionado (SFT) específico do domínio; e (2) a Fase Merge, onde esses modelos estudantes são fundidos para permitir a transferência de conhecimento entre domínios e melhorar a generalização. Validamos nossa abordagem de destilação utilizando o DeepSeek-R1 como modelo professor e o DeepSeek-R1-Distill-Qwen-32B como modelo estudante. O modelo resultante da fusão, TinyR1-32B-Preview, supera seu equivalente DeepSeek-R1-Distill-Qwen-32B em múltiplos benchmarks, incluindo Matemática (+5,5 pontos), Codificação (+4,4 pontos) e Ciência (+2,9 pontos), enquanto alcança desempenho quase igual ao do DeepSeek-R1 no AIME 2024. A abordagem de destilação Branch-Merge oferece uma solução escalável para a criação de LLMs menores e de alto desempenho, com custo computacional e tempo reduzidos.

English

The challenge of reducing the size of Large Language Models (LLMs) while maintaining their performance has gained significant attention. However, existing methods, such as model distillation and transfer learning, often fail to achieve high accuracy. To address this limitation, we introduce the Branch-Merge distillation approach, which enhances model compression through two phases: (1) the Branch Phase, where knowledge from a large teacher model is selectively distilled into specialized student models via domain-specific supervised fine-tuning (SFT); And (2) the Merge Phase, where these student models are merged to enable cross-domain knowledge transfer and improve generalization. We validate our distillation approach using DeepSeek-R1 as the teacher and DeepSeek-R1-Distill-Qwen-32B as the student. The resulting merged model, TinyR1-32B-Preview, outperforms its counterpart DeepSeek-R1-Distill-Qwen-32B across multiple benchmarks, including Mathematics (+5.5 points), Coding (+4.4 points) and Science (+2.9 points), while achieving near-equal performance to DeepSeek-R1 on AIME 2024. The Branch-Merge distillation approach provides a scalable solution for creating smaller, high-performing LLMs with reduced computational cost and time.