TinyR1-32B-Preview: Steigerung der Genauigkeit durch Branch-Merge-Distillation

TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation

March 6, 2025

Autoren: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Yuhan Wu, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Junfeng Ran, Sai-er Hu, Zihan Jiang, Junting Zhou, Wenrui Liu, Bin Cui, Tong Yang, Xiangzheng Zhang

cs.AI

Zusammenfassung

Die Herausforderung, die Größe von Large Language Models (LLMs) zu reduzieren, während ihre Leistung erhalten bleibt, hat erhebliche Aufmerksamkeit erregt. Bisherige Methoden wie Modell-Distillation und Transfer-Learning erreichen jedoch oft keine hohe Genauigkeit. Um diese Einschränkung zu überwinden, führen wir den Branch-Merge-Distillationsansatz ein, der die Modellkompression durch zwei Phasen verbessert: (1) die Branch-Phase, in der Wissen aus einem großen Lehrer-Modell selektiv in spezialisierte Schüler-Modelle durch domänenspezifisches Supervised Fine-Tuning (SFT) destilliert wird; und (2) die Merge-Phase, in der diese Schüler-Modelle zusammengeführt werden, um domänenübergreifenden Wissenstransfer zu ermöglichen und die Generalisierung zu verbessern. Wir validieren unseren Distillationsansatz mit DeepSeek-R1 als Lehrer und DeepSeek-R1-Distill-Qwen-32B als Schüler. Das resultierende zusammengeführte Modell, TinyR1-32B-Preview, übertrifft sein Gegenstück DeepSeek-R1-Distill-Qwen-32B in mehreren Benchmarks, darunter Mathematik (+5,5 Punkte), Programmieren (+4,4 Punkte) und Naturwissenschaften (+2,9 Punkte), während es nahezu gleichwertige Leistung zu DeepSeek-R1 auf AIME 2024 erreicht. Der Branch-Merge-Distillationsansatz bietet eine skalierbare Lösung zur Erstellung kleinerer, leistungsstarker LLMs mit reduziertem Rechenaufwand und Zeitbedarf.

English

The challenge of reducing the size of Large Language Models (LLMs) while maintaining their performance has gained significant attention. However, existing methods, such as model distillation and transfer learning, often fail to achieve high accuracy. To address this limitation, we introduce the Branch-Merge distillation approach, which enhances model compression through two phases: (1) the Branch Phase, where knowledge from a large teacher model is selectively distilled into specialized student models via domain-specific supervised fine-tuning (SFT); And (2) the Merge Phase, where these student models are merged to enable cross-domain knowledge transfer and improve generalization. We validate our distillation approach using DeepSeek-R1 as the teacher and DeepSeek-R1-Distill-Qwen-32B as the student. The resulting merged model, TinyR1-32B-Preview, outperforms its counterpart DeepSeek-R1-Distill-Qwen-32B across multiple benchmarks, including Mathematics (+5.5 points), Coding (+4.4 points) and Science (+2.9 points), while achieving near-equal performance to DeepSeek-R1 on AIME 2024. The Branch-Merge distillation approach provides a scalable solution for creating smaller, high-performing LLMs with reduced computational cost and time.