Xwin-LM: 大規模言語モデルのための強力かつスケーラブルなアライメント手法

Xwin-LM: Strong and Scalable Alignment Practice for LLMs

May 30, 2024

著者: Bolin Ni, JingCheng Hu, Yixuan Wei, Houwen Peng, Zheng Zhang, Gaofeng Meng, Han Hu

cs.AI

要旨

本研究では、大規模言語モデル（LLM）のための包括的なアライメント手法スイートであるXwin-LMを提案します。このスイートは、教師ありファインチューニング（SFT）、報酬モデリング（RM）、リジェクションサンプリングファインチューニング（RS）、および直接選好最適化（DPO）といったいくつかの主要な技術を包含しています。主要な構成要素は以下の通りです：（1）高品質な指示データで初期ファインチューニングされたXwin-LM-SFTモデル、（2）GPT-4を用いて詳細にアノテーションされた大規模なマルチターン選好データセットであるXwin-Pair、（3）Xwin-Pairでトレーニングされた7B、13B、70Bパラメータ規模の報酬モデルであるXwin-RM、（4）各プロンプトがXwin-LM-SFTによって生成された64のユニークな応答とXwin-RMによるスコアがリンクされたマルチワイズ選好データセットであるXwin-Set、（5）Xwin-Setから最高スコアの応答でファインチューニングされたXwin-LM-RSモデル、（6）Xwin-Set上でDPOアルゴリズムを用いてさらに最適化されたXwin-LM-DPOモデル。AlpacaEvalおよびMT-benchでの評価により、パイプライン全体を通じて一貫した大幅な改善が示され、Xwin-LMの強力さとスケーラビリティが実証されました。コミュニティ研究を促進するため、リポジトリhttps://github.com/Xwin-LM/Xwin-LMは継続的に更新されます。

English

In this work, we present Xwin-LM, a comprehensive suite of alignment methodologies for large language models (LLMs). This suite encompasses several key techniques, including supervised finetuning (SFT), reward modeling (RM), rejection sampling finetuning (RS), and direct preference optimization (DPO). The key components are as follows: (1) Xwin-LM-SFT, models initially finetuned with high-quality instruction data; (2) Xwin-Pair, a large-scale, multi-turn preference dataset meticulously annotated using GPT-4; (3) Xwin-RM, reward models trained on Xwin-Pair, developed at scales of 7B, 13B, and 70B parameters; (4) Xwin-Set, a multiwise preference dataset in which each prompt is linked to 64 unique responses generated by Xwin-LM-SFT and scored by Xwin-RM; (5) Xwin-LM-RS, models finetuned with the highest-scoring responses from Xwin-Set; (6) Xwin-LM-DPO, models further optimized on Xwin-Set using the DPO algorithm. Our evaluations on AlpacaEval and MT-bench demonstrate consistent and significant improvements across the pipeline, demonstrating the strength and scalability of Xwin-LM. The repository https://github.com/Xwin-LM/Xwin-LM will be continually updated to foster community research.