Xwin-LM : Pratique robuste et évolutive d'alignement pour les grands modèles de langage

Xwin-LM: Strong and Scalable Alignment Practice for LLMs

May 30, 2024

Auteurs: Bolin Ni, JingCheng Hu, Yixuan Wei, Houwen Peng, Zheng Zhang, Gaofeng Meng, Han Hu

cs.AI

Résumé

Dans ce travail, nous présentons Xwin-LM, une suite complète de méthodologies d'alignement pour les grands modèles de langage (LLM). Cette suite englobe plusieurs techniques clés, notamment le fine-tuning supervisé (SFT), la modélisation de récompense (RM), le fine-tuning par échantillonnage de rejet (RS) et l'optimisation directe des préférences (DPO). Les composants principaux sont les suivants : (1) Xwin-LM-SFT, des modèles initialement fine-tunés avec des données d'instruction de haute qualité ; (2) Xwin-Pair, un ensemble de données de préférences multi-tours à grande soigneusement annoté à l'aide de GPT-4 ; (3) Xwin-RM, des modèles de récompense entraînés sur Xwin-Pair, développés à des échelles de 7B, 13B et 70B paramètres ; (4) Xwin-Set, un ensemble de données de préférences multiples dans lequel chaque prompt est lié à 64 réponses uniques générées par Xwin-LM-SFT et notées par Xwin-RM ; (5) Xwin-LM-RS, des modèles fine-tunés avec les réponses les mieux notées de Xwin-Set ; (6) Xwin-LM-DPO, des modèles optimisés davantage sur Xwin-Set en utilisant l'algorithme DPO. Nos évaluations sur AlpacaEval et MT-bench montrent des améliorations constantes et significatives tout au long du pipeline, démontrant la puissance et l'évolutivité de Xwin-LM. Le dépôt https://github.com/Xwin-LM/Xwin-LM sera continuellement mis à jour pour favoriser la recherche communautaire.

English

In this work, we present Xwin-LM, a comprehensive suite of alignment methodologies for large language models (LLMs). This suite encompasses several key techniques, including supervised finetuning (SFT), reward modeling (RM), rejection sampling finetuning (RS), and direct preference optimization (DPO). The key components are as follows: (1) Xwin-LM-SFT, models initially finetuned with high-quality instruction data; (2) Xwin-Pair, a large-scale, multi-turn preference dataset meticulously annotated using GPT-4; (3) Xwin-RM, reward models trained on Xwin-Pair, developed at scales of 7B, 13B, and 70B parameters; (4) Xwin-Set, a multiwise preference dataset in which each prompt is linked to 64 unique responses generated by Xwin-LM-SFT and scored by Xwin-RM; (5) Xwin-LM-RS, models finetuned with the highest-scoring responses from Xwin-Set; (6) Xwin-LM-DPO, models further optimized on Xwin-Set using the DPO algorithm. Our evaluations on AlpacaEval and MT-bench demonstrate consistent and significant improvements across the pipeline, demonstrating the strength and scalability of Xwin-LM. The repository https://github.com/Xwin-LM/Xwin-LM will be continually updated to foster community research.