FuseChat-3.0: Präferenzoptimierung trifft auf heterogene Modellfusion

FuseChat-3.0: Preference Optimization Meets Heterogeneous Model Fusion

March 6, 2025

Autoren: Ziyi Yang, Fanqi Wan, Longguang Zhong, Canbin Huang, Guosheng Liang, Xiaojun Quan

cs.AI

Zusammenfassung

Wir stellen FuseChat-3.0 vor, eine Suite von großen Sprachmodellen (LLMs), die durch die Integration der Stärken heterogener Quell-LLMs in kompaktere Ziel-LLMs entwickelt wurde. Unsere Quellmodelle umfassen das leistungsstarke Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct und Llama-3.1-70B-Instruct. Bei den Zielmodellen konzentrieren wir uns auf drei weit verbreitete kleinere Varianten – Llama-3.1-8B-Instruct, Gemma-2-9B-it und Qwen-2.5-7B-Instruct – sowie zwei ultra-kompakte Optionen, Llama-3.2-3B-Instruct und Llama-3.2-1B-Instruct. Um die vielfältigen Fähigkeiten dieser Quellmodelle zu nutzen, entwickeln wir ein spezialisiertes Datenkonstruktionsprotokoll, das auf verschiedene Aufgaben und Domänen zugeschnitten ist. Die FuseChat-3.0-Trainingspipeline besteht aus zwei zentralen Phasen: (1) überwachte Feinabstimmung (SFT), um die Verteilungen der Ziel- und Quellmodelle anzugleichen, und (2) Direct Preference Optimization (DPO), um Präferenzen aus mehreren Quell-LLMs zur Feinabstimmung des Zielmodells anzuwenden. Die resultierenden FuseChat-3.0-Modelle zeigen signifikante Leistungssteigerungen in Aufgaben wie Instruktionsbefolgung, Allgemeinwissen, Mathematik und Programmierung. Wie in Abbildung 1 dargestellt, erreicht unser Fusionsansatz mit Llama-3.1-8B-Instruct als Zielmodell eine durchschnittliche Verbesserung von 6,8 Punkten über 14 Benchmarks hinweg. Darüber hinaus verzeichnet er bemerkenswerte Steigerungen von 37,1 Punkten und 30,1 Punkten auf den Instruktionsbefolgung-Benchmarks AlpacaEval-2 und Arena-Hard. Unser Code, Modelle und Datensätze sind unter https://github.com/SLIT-AI/FuseChat-3.0 verfügbar.

English

We introduce FuseChat-3.0, a suite of large language models (LLMs) developed by integrating the strengths of heterogeneous source LLMs into more compact target LLMs. Our source models include the powerful Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct, and Llama-3.1-70B-Instruct. For target models, we focus on three widely-used smaller variants-Llama-3.1-8B-Instruct, Gemma-2-9B-it, and Qwen-2.5-7B-Instruct-along with two ultra-compact options, Llama-3.2-3B-Instruct and Llama-3.2-1B-Instruct. To leverage the diverse capabilities of these source models, we develop a specialized data construction protocol tailored to various tasks and domains. The FuseChat-3.0 training pipeline consists of two key stages: (1) supervised fine-tuning (SFT) to align the target and source model distributions, and (2) Direct Preference Optimization (DPO) to apply preferences from multiple source LLMs to fine-tune the target model. The resulting FuseChat-3.0 models exhibit significant performance gains across tasks such as instruction following, general knowledge, mathematics, and coding. As illustrated in Figure 1, using Llama-3.1-8B-Instruct as the target model, our fusion approach achieves an average improvement of 6.8 points across 14 benchmarks. Moreover, it demonstrates remarkable gains of 37.1 points and 30.1 points on the instruction-following benchmarks AlpacaEval-2 and Arena-Hard, respectively. Our code, models, and datasets are available at https://github.com/SLIT-AI/FuseChat-3.0.