FuseChat-3.0: Ottimizzazione delle Preferenze incontra la Fusione di Modelli Eterogenei

FuseChat-3.0: Preference Optimization Meets Heterogeneous Model Fusion

March 6, 2025

Autori: Ziyi Yang, Fanqi Wan, Longguang Zhong, Canbin Huang, Guosheng Liang, Xiaojun Quan

cs.AI

Abstract

Presentiamo FuseChat-3.0, una suite di modelli linguistici di grandi dimensioni (LLM) sviluppata integrando i punti di forza di LLM eterogenei di origine in LLM target più compatti. I nostri modelli di origine includono il potente Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct e Llama-3.1-70B-Instruct. Per i modelli target, ci concentriamo su tre varianti più piccole ampiamente utilizzate—Llama-3.1-8B-Instruct, Gemma-2-9B-it e Qwen-2.5-7B-Instruct—insieme a due opzioni ultra-compatte, Llama-3.2-3B-Instruct e Llama-3.2-1B-Instruct. Per sfruttare le diverse capacità di questi modelli di origine, sviluppiamo un protocollo specializzato per la costruzione dei dati, adattato a vari compiti e domini. La pipeline di addestramento di FuseChat-3.0 consiste in due fasi chiave: (1) fine-tuning supervisionato (SFT) per allineare le distribuzioni dei modelli target e di origine, e (2) Direct Preference Optimization (DPO) per applicare le preferenze di più LLM di origine al fine-tuning del modello target. I modelli FuseChat-3.0 risultanti mostrano miglioramenti significativi in compiti come il seguire istruzioni, la conoscenza generale, la matematica e la programmazione. Come illustrato nella Figura 1, utilizzando Llama-3.1-8B-Instruct come modello target, il nostro approccio di fusione ottiene un miglioramento medio di 6,8 punti su 14 benchmark. Inoltre, dimostra guadagni notevoli di 37,1 punti e 30,1 punti rispettivamente sui benchmark di seguire istruzioni AlpacaEval-2 e Arena-Hard. Il nostro codice, modelli e dataset sono disponibili all'indirizzo https://github.com/SLIT-AI/FuseChat-3.0.

English

We introduce FuseChat-3.0, a suite of large language models (LLMs) developed by integrating the strengths of heterogeneous source LLMs into more compact target LLMs. Our source models include the powerful Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct, and Llama-3.1-70B-Instruct. For target models, we focus on three widely-used smaller variants-Llama-3.1-8B-Instruct, Gemma-2-9B-it, and Qwen-2.5-7B-Instruct-along with two ultra-compact options, Llama-3.2-3B-Instruct and Llama-3.2-1B-Instruct. To leverage the diverse capabilities of these source models, we develop a specialized data construction protocol tailored to various tasks and domains. The FuseChat-3.0 training pipeline consists of two key stages: (1) supervised fine-tuning (SFT) to align the target and source model distributions, and (2) Direct Preference Optimization (DPO) to apply preferences from multiple source LLMs to fine-tune the target model. The resulting FuseChat-3.0 models exhibit significant performance gains across tasks such as instruction following, general knowledge, mathematics, and coding. As illustrated in Figure 1, using Llama-3.1-8B-Instruct as the target model, our fusion approach achieves an average improvement of 6.8 points across 14 benchmarks. Moreover, it demonstrates remarkable gains of 37.1 points and 30.1 points on the instruction-following benchmarks AlpacaEval-2 and Arena-Hard, respectively. Our code, models, and datasets are available at https://github.com/SLIT-AI/FuseChat-3.0.