Xwin-LM: Starke und skalierbare Ausrichtungspraxis für LLMs

Xwin-LM: Strong and Scalable Alignment Practice for LLMs

May 30, 2024

Autoren: Bolin Ni, JingCheng Hu, Yixuan Wei, Houwen Peng, Zheng Zhang, Gaofeng Meng, Han Hu

cs.AI

Zusammenfassung

In dieser Arbeit präsentieren wir Xwin-LM, eine umfassende Suite von Ausrichtungsmethoden für große Sprachmodelle (LLMs). Diese Suite umfasst mehrere Schlüsseltechniken, darunter überwachtes Feintuning (SFT), Belohnungsmodellierung (RM), Feintuning durch Ablehnungssampling (RS) und direkte Präferenzoptimierung (DPO). Die Hauptkomponenten sind wie folgt: (1) Xwin-LM-SFT, Modelle, die anfangs mit hochwertigen Anweisungsdaten feinabgestimmt wurden; (2) Xwin-Pair, ein groß angelegter, mehrstufiger Präferenzdatensatz, der sorgfältig mit GPT-4 annotiert wurde; (3) Xwin-RM, Belohnungsmodelle, die auf Xwin-Pair trainiert wurden, entwickelt in den Größenordnungen von 7B, 13B und 70B Parametern; (4) Xwin-Set, ein Multiwise-Präferenzdatensatz, bei dem jeder Anstoß mit 64 einzigartigen Antworten verknüpft ist, die von Xwin-LM-SFT generiert und von Xwin-RM bewertet wurden; (5) Xwin-LM-RS, Modelle, die mit den am besten bewerteten Antworten aus Xwin-Set feinabgestimmt wurden; (6) Xwin-LM-DPO, Modelle, die auf Xwin-Set weiter optimiert wurden, unter Verwendung des DPO-Algorithmus. Unsere Bewertungen auf AlpacaEval und MT-bench zeigen konsistente und signifikante Verbesserungen entlang des Prozesses auf und demonstrieren die Stärke und Skalierbarkeit von Xwin-LM. Das Repository https://github.com/Xwin-LM/Xwin-LM wird kontinuierlich aktualisiert, um die Gemeinschaftsforschung zu fördern.

English

In this work, we present Xwin-LM, a comprehensive suite of alignment methodologies for large language models (LLMs). This suite encompasses several key techniques, including supervised finetuning (SFT), reward modeling (RM), rejection sampling finetuning (RS), and direct preference optimization (DPO). The key components are as follows: (1) Xwin-LM-SFT, models initially finetuned with high-quality instruction data; (2) Xwin-Pair, a large-scale, multi-turn preference dataset meticulously annotated using GPT-4; (3) Xwin-RM, reward models trained on Xwin-Pair, developed at scales of 7B, 13B, and 70B parameters; (4) Xwin-Set, a multiwise preference dataset in which each prompt is linked to 64 unique responses generated by Xwin-LM-SFT and scored by Xwin-RM; (5) Xwin-LM-RS, models finetuned with the highest-scoring responses from Xwin-Set; (6) Xwin-LM-DPO, models further optimized on Xwin-Set using the DPO algorithm. Our evaluations on AlpacaEval and MT-bench demonstrate consistent and significant improvements across the pipeline, demonstrating the strength and scalability of Xwin-LM. The repository https://github.com/Xwin-LM/Xwin-LM will be continually updated to foster community research.