TinyR1-32B-Preview: Mejorando la precisión con destilación de ramificación y fusión

TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation

March 6, 2025

Autores: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Yuhan Wu, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Junfeng Ran, Sai-er Hu, Zihan Jiang, Junting Zhou, Wenrui Liu, Bin Cui, Tong Yang, Xiangzheng Zhang

cs.AI

Resumen

El desafío de reducir el tamaño de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) manteniendo su rendimiento ha ganado una atención significativa. Sin embargo, los métodos existentes, como la destilación de modelos y el aprendizaje por transferencia, a menudo no logran alcanzar una alta precisión. Para abordar esta limitación, presentamos el enfoque de destilación Branch-Merge, que mejora la compresión de modelos a través de dos fases: (1) la Fase de Ramificación, donde el conocimiento de un modelo maestro grande se destila selectivamente en modelos estudiantiles especializados mediante un ajuste fino supervisado (SFT) específico del dominio; y (2) la Fase de Fusión, donde estos modelos estudiantiles se combinan para permitir la transferencia de conocimiento entre dominios y mejorar la generalización. Validamos nuestro enfoque de destilación utilizando DeepSeek-R1 como el modelo maestro y DeepSeek-R1-Distill-Qwen-32B como el modelo estudiantil. El modelo fusionado resultante, TinyR1-32B-Preview, supera a su contraparte DeepSeek-R1-Distill-Qwen-32B en múltiples benchmarks, incluyendo Matemáticas (+5.5 puntos), Codificación (+4.4 puntos) y Ciencias (+2.9 puntos), mientras logra un rendimiento casi igual al de DeepSeek-R1 en AIME 2024. El enfoque de destilación Branch-Merge proporciona una solución escalable para crear LLMs más pequeños y de alto rendimiento con un costo y tiempo computacional reducidos.

English

The challenge of reducing the size of Large Language Models (LLMs) while maintaining their performance has gained significant attention. However, existing methods, such as model distillation and transfer learning, often fail to achieve high accuracy. To address this limitation, we introduce the Branch-Merge distillation approach, which enhances model compression through two phases: (1) the Branch Phase, where knowledge from a large teacher model is selectively distilled into specialized student models via domain-specific supervised fine-tuning (SFT); And (2) the Merge Phase, where these student models are merged to enable cross-domain knowledge transfer and improve generalization. We validate our distillation approach using DeepSeek-R1 as the teacher and DeepSeek-R1-Distill-Qwen-32B as the student. The resulting merged model, TinyR1-32B-Preview, outperforms its counterpart DeepSeek-R1-Distill-Qwen-32B across multiple benchmarks, including Mathematics (+5.5 points), Coding (+4.4 points) and Science (+2.9 points), while achieving near-equal performance to DeepSeek-R1 on AIME 2024. The Branch-Merge distillation approach provides a scalable solution for creating smaller, high-performing LLMs with reduced computational cost and time.