FuseChat-3.0：選好最適化と異種モデル融合の融合

FuseChat-3.0: Preference Optimization Meets Heterogeneous Model Fusion

March 6, 2025

著者: Ziyi Yang, Fanqi Wan, Longguang Zhong, Canbin Huang, Guosheng Liang, Xiaojun Quan

cs.AI

要旨

FuseChat-3.0を紹介します。これは、異種のソース大規模言語モデル（LLM）の強みを統合し、よりコンパクトなターゲットLLMに集約したモデル群です。ソースモデルには、強力なGemma-2-27B-it、Mistral-Large-Instruct-2407、Qwen-2.5-72B-Instruct、Llama-3.1-70B-Instructが含まれます。ターゲットモデルとしては、広く使用されている3つの小型バリアント（Llama-3.1-8B-Instruct、Gemma-2-9B-it、Qwen-2.5-7B-Instruct）と、超コンパクトな2つのオプション（Llama-3.2-3B-InstructおよびLlama-3.2-1B-Instruct）に焦点を当てています。これらのソースモデルの多様な能力を活用するため、さまざまなタスクやドメインに特化したデータ構築プロトコルを開発しました。FuseChat-3.0のトレーニングパイプラインは、2つの主要な段階で構成されています：（1）ターゲットモデルとソースモデルの分布を整合させるための教師ありファインチューニング（SFT）、（2）複数のソースLLMからの選好を適用してターゲットモデルを微調整するDirect Preference Optimization（DPO）。結果として得られたFuseChat-3.0モデルは、指示追従、一般知識、数学、コーディングなどのタスクにおいて、大幅な性能向上を示しています。図1に示すように、Llama-3.1-8B-Instructをターゲットモデルとして使用した場合、我々の融合アプローチは14のベンチマークで平均6.8ポイントの改善を達成しました。さらに、指示追従ベンチマークであるAlpacaEval-2とArena-Hardでは、それぞれ37.1ポイントと30.1ポイントの顕著な向上を示しました。コード、モデル、データセットはhttps://github.com/SLIT-AI/FuseChat-3.0で公開されています。

English

We introduce FuseChat-3.0, a suite of large language models (LLMs) developed by integrating the strengths of heterogeneous source LLMs into more compact target LLMs. Our source models include the powerful Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct, and Llama-3.1-70B-Instruct. For target models, we focus on three widely-used smaller variants-Llama-3.1-8B-Instruct, Gemma-2-9B-it, and Qwen-2.5-7B-Instruct-along with two ultra-compact options, Llama-3.2-3B-Instruct and Llama-3.2-1B-Instruct. To leverage the diverse capabilities of these source models, we develop a specialized data construction protocol tailored to various tasks and domains. The FuseChat-3.0 training pipeline consists of two key stages: (1) supervised fine-tuning (SFT) to align the target and source model distributions, and (2) Direct Preference Optimization (DPO) to apply preferences from multiple source LLMs to fine-tune the target model. The resulting FuseChat-3.0 models exhibit significant performance gains across tasks such as instruction following, general knowledge, mathematics, and coding. As illustrated in Figure 1, using Llama-3.1-8B-Instruct as the target model, our fusion approach achieves an average improvement of 6.8 points across 14 benchmarks. Moreover, it demonstrates remarkable gains of 37.1 points and 30.1 points on the instruction-following benchmarks AlpacaEval-2 and Arena-Hard, respectively. Our code, models, and datasets are available at https://github.com/SLIT-AI/FuseChat-3.0.