FuseChat-3.0: Optimización de Preferencias se Encuentra con la Fusión de Modelos Heterogéneos

FuseChat-3.0: Preference Optimization Meets Heterogeneous Model Fusion

March 6, 2025

Autores: Ziyi Yang, Fanqi Wan, Longguang Zhong, Canbin Huang, Guosheng Liang, Xiaojun Quan

cs.AI

Resumen

Presentamos FuseChat-3.0, un conjunto de modelos de lenguaje de gran escala (LLMs) desarrollado mediante la integración de las fortalezas de LLMs fuente heterogéneos en LLMs objetivo más compactos. Nuestros modelos fuente incluyen el potente Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct y Llama-3.1-70B-Instruct. Para los modelos objetivo, nos centramos en tres variantes más pequeñas ampliamente utilizadas: Llama-3.1-8B-Instruct, Gemma-2-9B-it y Qwen-2.5-7B-Instruct, junto con dos opciones ultracompactas, Llama-3.2-3B-Instruct y Llama-3.2-1B-Instruct. Para aprovechar las diversas capacidades de estos modelos fuente, desarrollamos un protocolo especializado de construcción de datos adaptado a diversas tareas y dominios. El pipeline de entrenamiento de FuseChat-3.0 consta de dos etapas clave: (1) ajuste fino supervisado (SFT) para alinear las distribuciones de los modelos objetivo y fuente, y (2) Optimización Directa de Preferencias (DPO) para aplicar preferencias de múltiples LLMs fuente en el ajuste fino del modelo objetivo. Los modelos resultantes de FuseChat-3.0 muestran mejoras significativas en tareas como seguimiento de instrucciones, conocimiento general, matemáticas y programación. Como se ilustra en la Figura 1, utilizando Llama-3.1-8B-Instruct como modelo objetivo, nuestro enfoque de fusión logra una mejora promedio de 6.8 puntos en 14 benchmarks. Además, demuestra ganancias notables de 37.1 puntos y 30.1 puntos en los benchmarks de seguimiento de instrucciones AlpacaEval-2 y Arena-Hard, respectivamente. Nuestro código, modelos y conjuntos de datos están disponibles en https://github.com/SLIT-AI/FuseChat-3.0.

English

We introduce FuseChat-3.0, a suite of large language models (LLMs) developed by integrating the strengths of heterogeneous source LLMs into more compact target LLMs. Our source models include the powerful Gemma-2-27B-it, Mistral-Large-Instruct-2407, Qwen-2.5-72B-Instruct, and Llama-3.1-70B-Instruct. For target models, we focus on three widely-used smaller variants-Llama-3.1-8B-Instruct, Gemma-2-9B-it, and Qwen-2.5-7B-Instruct-along with two ultra-compact options, Llama-3.2-3B-Instruct and Llama-3.2-1B-Instruct. To leverage the diverse capabilities of these source models, we develop a specialized data construction protocol tailored to various tasks and domains. The FuseChat-3.0 training pipeline consists of two key stages: (1) supervised fine-tuning (SFT) to align the target and source model distributions, and (2) Direct Preference Optimization (DPO) to apply preferences from multiple source LLMs to fine-tune the target model. The resulting FuseChat-3.0 models exhibit significant performance gains across tasks such as instruction following, general knowledge, mathematics, and coding. As illustrated in Figure 1, using Llama-3.1-8B-Instruct as the target model, our fusion approach achieves an average improvement of 6.8 points across 14 benchmarks. Moreover, it demonstrates remarkable gains of 37.1 points and 30.1 points on the instruction-following benchmarks AlpacaEval-2 and Arena-Hard, respectively. Our code, models, and datasets are available at https://github.com/SLIT-AI/FuseChat-3.0.