FuseChat-3.0: Otimização de Preferências Encontra a Fusão de Modelos Heterogêneos

FuseChat-3.0: Preference Optimization Meets Heterogeneous Model Fusion

March 6, 2025

Autores: Ziyi Yang, Fanqi Wan, Longguang Zhong, Canbin Huang, Guosheng Liang, Xiaojun Quan

cs.AI

Resumo

Apresentamos o FuseChat-3.0, um conjunto de modelos de linguagem de grande escala (LLMs) desenvolvido ao integrar os pontos fortes de LLMs heterogêneos de origem em LLMs de destino mais compactos. Nossos modelos de origem incluem o poderoso Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct e Llama-3.1-70B-Instruct. Para os modelos de destino, focamos em três variantes menores amplamente utilizadas — Llama-3.1-8B-Instruct, Gemma-2-9B-it e Qwen-2.5-7B-Instruct — juntamente com duas opções ultracompactas, Llama-3.2-3B-Instruct e Llama-3.2-1B-Instruct. Para aproveitar as diversas capacidades desses modelos de origem, desenvolvemos um protocolo especializado de construção de dados adaptado a várias tarefas e domínios. O pipeline de treinamento do FuseChat-3.0 consiste em duas etapas principais: (1) ajuste fino supervisionado (SFT) para alinhar as distribuições dos modelos de destino e origem, e (2) Otimização de Preferência Direta (DPO) para aplicar preferências de múltiplos LLMs de origem no ajuste fino do modelo de destino. Os modelos resultantes do FuseChat-3.0 exibem ganhos significativos de desempenho em tarefas como seguimento de instruções, conhecimento geral, matemática e codificação. Como ilustrado na Figura 1, ao usar o Llama-3.1-8B-Instruct como modelo de destino, nossa abordagem de fusão alcança uma melhoria média de 6,8 pontos em 14 benchmarks. Além disso, demonstra ganhos notáveis de 37,1 pontos e 30,1 pontos nos benchmarks de seguimento de instruções AlpacaEval-2 e Arena-Hard, respectivamente. Nosso código, modelos e conjuntos de dados estão disponíveis em https://github.com/SLIT-AI/FuseChat-3.0.

English

We introduce FuseChat-3.0, a suite of large language models (LLMs) developed by integrating the strengths of heterogeneous source LLMs into more compact target LLMs. Our source models include the powerful Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct, and Llama-3.1-70B-Instruct. For target models, we focus on three widely-used smaller variants-Llama-3.1-8B-Instruct, Gemma-2-9B-it, and Qwen-2.5-7B-Instruct-along with two ultra-compact options, Llama-3.2-3B-Instruct and Llama-3.2-1B-Instruct. To leverage the diverse capabilities of these source models, we develop a specialized data construction protocol tailored to various tasks and domains. The FuseChat-3.0 training pipeline consists of two key stages: (1) supervised fine-tuning (SFT) to align the target and source model distributions, and (2) Direct Preference Optimization (DPO) to apply preferences from multiple source LLMs to fine-tune the target model. The resulting FuseChat-3.0 models exhibit significant performance gains across tasks such as instruction following, general knowledge, mathematics, and coding. As illustrated in Figure 1, using Llama-3.1-8B-Instruct as the target model, our fusion approach achieves an average improvement of 6.8 points across 14 benchmarks. Moreover, it demonstrates remarkable gains of 37.1 points and 30.1 points on the instruction-following benchmarks AlpacaEval-2 and Arena-Hard, respectively. Our code, models, and datasets are available at https://github.com/SLIT-AI/FuseChat-3.0.