FuseChat-3.0 : Optimisation des préférences et fusion de modèles hétérogènes

FuseChat-3.0: Preference Optimization Meets Heterogeneous Model Fusion

March 6, 2025

Auteurs: Ziyi Yang, Fanqi Wan, Longguang Zhong, Canbin Huang, Guosheng Liang, Xiaojun Quan

cs.AI

Résumé

Nous présentons FuseChat-3.0, une suite de grands modèles de langage (LLMs) développée en intégrant les forces de LLMs sources hétérogènes dans des LLMs cibles plus compacts. Nos modèles sources incluent les puissants Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct et Llama-3.1-70B-Instruct. Pour les modèles cibles, nous nous concentrons sur trois variantes plus petites largement utilisées - Llama-3.1-8B-Instruct, Gemma-2-9B-it et Qwen-2.5-7B-Instruct - ainsi que deux options ultra-compactes, Llama-3.2-3B-Instruct et Llama-3.2-1B-Instruct. Pour exploiter les capacités diversifiées de ces modèles sources, nous développons un protocole de construction de données spécialisé adapté à diverses tâches et domaines. Le pipeline d'entraînement de FuseChat-3.0 se compose de deux étapes clés : (1) un réglage fin supervisé (SFT) pour aligner les distributions des modèles cibles et sources, et (2) une optimisation directe des préférences (DPO) pour appliquer les préférences de plusieurs LLMs sources afin de régler finement le modèle cible. Les modèles FuseChat-3.0 résultants montrent des gains de performance significatifs dans des tâches telles que le suivi d'instructions, les connaissances générales, les mathématiques et la programmation. Comme illustré dans la Figure 1, en utilisant Llama-3.1-8B-Instruct comme modèle cible, notre approche de fusion atteint une amélioration moyenne de 6,8 points sur 14 benchmarks. De plus, elle démontre des gains remarquables de 37,1 points et 30,1 points sur les benchmarks de suivi d'instructions AlpacaEval-2 et Arena-Hard, respectivement. Notre code, modèles et jeux de données sont disponibles à l'adresse https://github.com/SLIT-AI/FuseChat-3.0.

English

We introduce FuseChat-3.0, a suite of large language models (LLMs) developed by integrating the strengths of heterogeneous source LLMs into more compact target LLMs. Our source models include the powerful Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct, and Llama-3.1-70B-Instruct. For target models, we focus on three widely-used smaller variants-Llama-3.1-8B-Instruct, Gemma-2-9B-it, and Qwen-2.5-7B-Instruct-along with two ultra-compact options, Llama-3.2-3B-Instruct and Llama-3.2-1B-Instruct. To leverage the diverse capabilities of these source models, we develop a specialized data construction protocol tailored to various tasks and domains. The FuseChat-3.0 training pipeline consists of two key stages: (1) supervised fine-tuning (SFT) to align the target and source model distributions, and (2) Direct Preference Optimization (DPO) to apply preferences from multiple source LLMs to fine-tune the target model. The resulting FuseChat-3.0 models exhibit significant performance gains across tasks such as instruction following, general knowledge, mathematics, and coding. As illustrated in Figure 1, using Llama-3.1-8B-Instruct as the target model, our fusion approach achieves an average improvement of 6.8 points across 14 benchmarks. Moreover, it demonstrates remarkable gains of 37.1 points and 30.1 points on the instruction-following benchmarks AlpacaEval-2 and Arena-Hard, respectively. Our code, models, and datasets are available at https://github.com/SLIT-AI/FuseChat-3.0.