Xwin-LM: Sterke en schaalbare uitlijningspraktijk voor LLM's

Xwin-LM: Strong and Scalable Alignment Practice for LLMs

May 30, 2024

Auteurs: Bolin Ni, JingCheng Hu, Yixuan Wei, Houwen Peng, Zheng Zhang, Gaofeng Meng, Han Hu

cs.AI

Samenvatting

In dit werk presenteren we Xwin-LM, een uitgebreide suite van afstemmingsmethodologieën voor grote taalmodellen (LLM's). Deze suite omvat verschillende belangrijke technieken, waaronder supervised finetuning (SFT), reward modeling (RM), rejection sampling finetuning (RS) en direct preference optimization (DPO). De belangrijkste componenten zijn als volgt: (1) Xwin-LM-SFT, modellen die aanvankelijk zijn gefinetuned met hoogwaardige instructiedata; (2) Xwin-Pair, een grootschalige, multi-turn voorkeursdataset die nauwkeurig is geannoteerd met behulp van GPT-4; (3) Xwin-RM, beloningsmodellen getraind op Xwin-Pair, ontwikkeld op schalen van 7B, 13B en 70B parameters; (4) Xwin-Set, een multiwise voorkeursdataset waarin elke prompt is gekoppeld aan 64 unieke reacties gegenereerd door Xwin-LM-SFT en gescoord door Xwin-RM; (5) Xwin-LM-RS, modellen gefinetuned met de hoogst scorende reacties uit Xwin-Set; (6) Xwin-LM-DPO, modellen verder geoptimaliseerd op Xwin-Set met behulp van het DPO-algoritme. Onze evaluaties op AlpacaEval en MT-bench tonen consistente en significante verbeteringen in de hele pipeline, wat de kracht en schaalbaarheid van Xwin-LM aantoont. De repository https://github.com/Xwin-LM/Xwin-LM zal voortdurend worden bijgewerkt om gemeenschapsonderzoek te bevorderen.

English

In this work, we present Xwin-LM, a comprehensive suite of alignment methodologies for large language models (LLMs). This suite encompasses several key techniques, including supervised finetuning (SFT), reward modeling (RM), rejection sampling finetuning (RS), and direct preference optimization (DPO). The key components are as follows: (1) Xwin-LM-SFT, models initially finetuned with high-quality instruction data; (2) Xwin-Pair, a large-scale, multi-turn preference dataset meticulously annotated using GPT-4; (3) Xwin-RM, reward models trained on Xwin-Pair, developed at scales of 7B, 13B, and 70B parameters; (4) Xwin-Set, a multiwise preference dataset in which each prompt is linked to 64 unique responses generated by Xwin-LM-SFT and scored by Xwin-RM; (5) Xwin-LM-RS, models finetuned with the highest-scoring responses from Xwin-Set; (6) Xwin-LM-DPO, models further optimized on Xwin-Set using the DPO algorithm. Our evaluations on AlpacaEval and MT-bench demonstrate consistent and significant improvements across the pipeline, demonstrating the strength and scalability of Xwin-LM. The repository https://github.com/Xwin-LM/Xwin-LM will be continually updated to foster community research.