TinyR1-32B-Preview: Повышение точности с помощью дистилляции методом ветвления и слияния

TinyR1-32B-Preview: Boosting Accuracy with Branch-Merge Distillation

March 6, 2025

Авторы: Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Yuhan Wu, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Junfeng Ran, Sai-er Hu, Zihan Jiang, Junting Zhou, Wenrui Liu, Bin Cui, Tong Yang, Xiangzheng Zhang

cs.AI

Аннотация

Задача уменьшения размера крупных языковых моделей (LLM) при сохранении их производительности привлекает значительное внимание. Однако существующие методы, такие как дистилляция моделей и трансферное обучение, часто не позволяют достичь высокой точности. Для решения этой проблемы мы представляем подход Branch-Merge дистилляции, который улучшает сжатие модели за счет двух этапов: (1) этап Branch, где знания из крупной модели-учителя избирательно передаются в специализированные модели-ученики через предметно-ориентированное контролируемое тонкое обучение (SFT); и (2) этап Merge, где эти модели-ученики объединяются для обеспечения межпредметного переноса знаний и улучшения обобщающей способности. Мы проверяем наш подход дистилляции, используя DeepSeek-R1 в качестве учителя и DeepSeek-R1-Distill-Qwen-32B в качестве ученика. Полученная объединенная модель, TinyR1-32B-Preview, превосходит свою аналог DeepSeek-R1-Distill-Qwen-32B по нескольким тестам, включая Математику (+5,5 баллов), Программирование (+4,4 балла) и Науку (+2,9 балла), при этом демонстрируя почти равную производительность с DeepSeek-R1 на AIME 2024. Подход Branch-Merge дистилляции предлагает масштабируемое решение для создания более компактных и высокопроизводительных LLM с уменьшенными вычислительными затратами и временем.

English

The challenge of reducing the size of Large Language Models (LLMs) while maintaining their performance has gained significant attention. However, existing methods, such as model distillation and transfer learning, often fail to achieve high accuracy. To address this limitation, we introduce the Branch-Merge distillation approach, which enhances model compression through two phases: (1) the Branch Phase, where knowledge from a large teacher model is selectively distilled into specialized student models via domain-specific supervised fine-tuning (SFT); And (2) the Merge Phase, where these student models are merged to enable cross-domain knowledge transfer and improve generalization. We validate our distillation approach using DeepSeek-R1 as the teacher and DeepSeek-R1-Distill-Qwen-32B as the student. The resulting merged model, TinyR1-32B-Preview, outperforms its counterpart DeepSeek-R1-Distill-Qwen-32B across multiple benchmarks, including Mathematics (+5.5 points), Coding (+4.4 points) and Science (+2.9 points), while achieving near-equal performance to DeepSeek-R1 on AIME 2024. The Branch-Merge distillation approach provides a scalable solution for creating smaller, high-performing LLMs with reduced computational cost and time.