TinyR1-32B-Preview: Nauwkeurigheid verbeteren met Branch-Merge Distillatie

TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation

March 6, 2025

Auteurs: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Yuhan Wu, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Junfeng Ran, Sai-er Hu, Zihan Jiang, Junting Zhou, Wenrui Liu, Bin Cui, Tong Yang, Xiangzheng Zhang

cs.AI

Samenvatting

De uitdaging om de omvang van Large Language Models (LLM's) te verkleinen terwijl hun prestaties behouden blijven, heeft aanzienlijke aandacht gekregen. Bestaande methoden, zoals modeldistillatie en transfer learning, slagen er echter vaak niet in om hoge nauwkeurigheid te bereiken. Om deze beperking aan te pakken, introduceren we de Branch-Merge-distillatiebenadering, die modelcompressie verbetert via twee fasen: (1) de Branch-fase, waarbij kennis van een groot leraarmodel selectief wordt gedistilleerd in gespecialiseerde studentmodellen via domeinspecifieke supervised fine-tuning (SFT); en (2) de Merge-fase, waarbij deze studentmodellen worden samengevoegd om kruis-domeinkennisoverdracht mogelijk te maken en de generalisatie te verbeteren. We valideren onze distillatiebenadering met DeepSeek-R1 als leraar en DeepSeek-R1-Distill-Qwen-32B als student. Het resulterende samengevoegde model, TinyR1-32B-Preview, presteert beter dan zijn tegenhanger DeepSeek-R1-Distill-Qwen-32B op meerdere benchmarks, waaronder Wiskunde (+5,5 punten), Coderen (+4,4 punten) en Wetenschap (+2,9 punten), terwijl het bijna gelijke prestaties behaalt aan DeepSeek-R1 op AIME 2024. De Branch-Merge-distillatiebenadering biedt een schaalbare oplossing voor het creëren van kleinere, hoogpresterende LLM's met verminderde rekenkosten en tijd.

English

The challenge of reducing the size of Large Language Models (LLMs) while maintaining their performance has gained significant attention. However, existing methods, such as model distillation and transfer learning, often fail to achieve high accuracy. To address this limitation, we introduce the Branch-Merge distillation approach, which enhances model compression through two phases: (1) the Branch Phase, where knowledge from a large teacher model is selectively distilled into specialized student models via domain-specific supervised fine-tuning (SFT); And (2) the Merge Phase, where these student models are merged to enable cross-domain knowledge transfer and improve generalization. We validate our distillation approach using DeepSeek-R1 as the teacher and DeepSeek-R1-Distill-Qwen-32B as the student. The resulting merged model, TinyR1-32B-Preview, outperforms its counterpart DeepSeek-R1-Distill-Qwen-32B across multiple benchmarks, including Mathematics (+5.5 points), Coding (+4.4 points) and Science (+2.9 points), while achieving near-equal performance to DeepSeek-R1 on AIME 2024. The Branch-Merge distillation approach provides a scalable solution for creating smaller, high-performing LLMs with reduced computational cost and time.