Xwin-LM: Pratica Solida e Scalabile per l'Allineamento dei Modelli Linguistici di Grande Dimensione

Xwin-LM: Strong and Scalable Alignment Practice for LLMs

May 30, 2024

Autori: Bolin Ni, JingCheng Hu, Yixuan Wei, Houwen Peng, Zheng Zhang, Gaofeng Meng, Han Hu

cs.AI

Abstract

In questo lavoro, presentiamo Xwin-LM, una suite completa di metodologie di allineamento per modelli linguistici di grandi dimensioni (LLM). Questa suite comprende diverse tecniche chiave, tra cui il fine-tuning supervisionato (SFT), la modellazione della ricompensa (RM), il fine-tuning con campionamento di rifiuto (RS) e l'ottimizzazione diretta delle preferenze (DPO). I componenti principali sono i seguenti: (1) Xwin-LM-SFT, modelli inizialmente sottoposti a fine-tuning con dati di istruzione di alta qualità; (2) Xwin-Pair, un dataset su larga scala di preferenze multi-turn annotato meticolosamente utilizzando GPT-4; (3) Xwin-RM, modelli di ricompensa addestrati su Xwin-Pair, sviluppati con scale di 7B, 13B e 70B parametri; (4) Xwin-Set, un dataset di preferenze multiwise in cui ogni prompt è collegato a 64 risposte uniche generate da Xwin-LM-SFT e valutate da Xwin-RM; (5) Xwin-LM-RS, modelli sottoposti a fine-tuning con le risposte con il punteggio più alto di Xwin-Set; (6) Xwin-LM-DPO, modelli ulteriormente ottimizzati su Xwin-Set utilizzando l'algoritmo DPO. Le nostre valutazioni su AlpacaEval e MT-bench dimostrano miglioramenti consistenti e significativi lungo l'intera pipeline, evidenziando la forza e la scalabilità di Xwin-LM. Il repository https://github.com/Xwin-LM/Xwin-LM sarà aggiornato continuamente per favorire la ricerca della comunità.

English

In this work, we present Xwin-LM, a comprehensive suite of alignment methodologies for large language models (LLMs). This suite encompasses several key techniques, including supervised finetuning (SFT), reward modeling (RM), rejection sampling finetuning (RS), and direct preference optimization (DPO). The key components are as follows: (1) Xwin-LM-SFT, models initially finetuned with high-quality instruction data; (2) Xwin-Pair, a large-scale, multi-turn preference dataset meticulously annotated using GPT-4; (3) Xwin-RM, reward models trained on Xwin-Pair, developed at scales of 7B, 13B, and 70B parameters; (4) Xwin-Set, a multiwise preference dataset in which each prompt is linked to 64 unique responses generated by Xwin-LM-SFT and scored by Xwin-RM; (5) Xwin-LM-RS, models finetuned with the highest-scoring responses from Xwin-Set; (6) Xwin-LM-DPO, models further optimized on Xwin-Set using the DPO algorithm. Our evaluations on AlpacaEval and MT-bench demonstrate consistent and significant improvements across the pipeline, demonstrating the strength and scalability of Xwin-LM. The repository https://github.com/Xwin-LM/Xwin-LM will be continually updated to foster community research.