FuseChat-3.0: 선호도 최적화와 이종 모델 융합의 만남

FuseChat-3.0: Preference Optimization Meets Heterogeneous Model Fusion

March 6, 2025

저자: Ziyi Yang, Fanqi Wan, Longguang Zhong, Canbin Huang, Guosheng Liang, Xiaojun Quan

cs.AI

초록

FuseChat-3.0을 소개합니다. 이는 이기종 소스 대형 언어 모델(LLM)의 강점을 통합하여 더 컴팩트한 타겟 LLM으로 개발된 모델 제품군입니다. 우리의 소스 모델에는 강력한 Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct, 그리고 Llama-3.1-70B-Instruct가 포함됩니다. 타겟 모델로는 널리 사용되는 세 가지 소형 변형인 Llama-3.1-8B-Instruct, Gemma-2-9B-it, Qwen-2.5-7B-Instruct와 두 가지 초소형 옵션인 Llama-3.2-3B-Instruct 및 Llama-3.2-1B-Instruct에 초점을 맞췄습니다. 이러한 소스 모델의 다양한 역량을 활용하기 위해, 우리는 다양한 작업과 도메인에 맞춘 전용 데이터 구성 프로토콜을 개발했습니다. FuseChat-3.0의 학습 파이프라인은 두 가지 주요 단계로 구성됩니다: (1) 타겟과 소스 모델 분포를 정렬하기 위한 지도 미세 조정(SFT), 그리고 (2) 다중 소스 LLM의 선호도를 적용하여 타겟 모델을 미세 조정하는 직접 선호 최적화(DPO). 결과적으로 FuseChat-3.0 모델은 명령어 수행, 일반 지식, 수학, 코딩 등의 작업에서 상당한 성능 향상을 보여줍니다. 그림 1에서와 같이, Llama-3.1-8B-Instruct를 타겟 모델로 사용할 경우, 우리의 융합 접근법은 14개 벤치마크에서 평균 6.8점의 향상을 달성했습니다. 또한, 명령어 수행 벤치마크인 AlpacaEval-2와 Arena-Hard에서 각각 37.1점과 30.1점의 놀라운 성능 향상을 보였습니다. 우리의 코드, 모델, 데이터셋은 https://github.com/SLIT-AI/FuseChat-3.0에서 확인할 수 있습니다.

English

We introduce FuseChat-3.0, a suite of large language models (LLMs) developed by integrating the strengths of heterogeneous source LLMs into more compact target LLMs. Our source models include the powerful Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct, and Llama-3.1-70B-Instruct. For target models, we focus on three widely-used smaller variants-Llama-3.1-8B-Instruct, Gemma-2-9B-it, and Qwen-2.5-7B-Instruct-along with two ultra-compact options, Llama-3.2-3B-Instruct and Llama-3.2-1B-Instruct. To leverage the diverse capabilities of these source models, we develop a specialized data construction protocol tailored to various tasks and domains. The FuseChat-3.0 training pipeline consists of two key stages: (1) supervised fine-tuning (SFT) to align the target and source model distributions, and (2) Direct Preference Optimization (DPO) to apply preferences from multiple source LLMs to fine-tune the target model. The resulting FuseChat-3.0 models exhibit significant performance gains across tasks such as instruction following, general knowledge, mathematics, and coding. As illustrated in Figure 1, using Llama-3.1-8B-Instruct as the target model, our fusion approach achieves an average improvement of 6.8 points across 14 benchmarks. Moreover, it demonstrates remarkable gains of 37.1 points and 30.1 points on the instruction-following benchmarks AlpacaEval-2 and Arena-Hard, respectively. Our code, models, and datasets are available at https://github.com/SLIT-AI/FuseChat-3.0.