Xwin-LM: Práticas Robustas e Escaláveis de Alinhamento para Modelos de Linguagem de Grande Porte

Xwin-LM: Strong and Scalable Alignment Practice for LLMs

May 30, 2024

Autores: Bolin Ni, JingCheng Hu, Yixuan Wei, Houwen Peng, Zheng Zhang, Gaofeng Meng, Han Hu

cs.AI

Resumo

Neste trabalho, apresentamos o Xwin-LM, um conjunto abrangente de metodologias de alinhamento para modelos de linguagem de grande escala (LLMs). Este conjunto engloba várias técnicas-chave, incluindo ajuste fino supervisionado (SFT), modelagem de recompensa (RM), ajuste fino por amostragem de rejeição (RS) e otimização direta de preferências (DPO). Os principais componentes são os seguintes: (1) Xwin-LM-SFT, modelos inicialmente ajustados com dados de instrução de alta qualidade; (2) Xwin-Pair, um conjunto de dados de preferência em grande escala e multi-turno, meticulosamente anotado usando GPT-4; (3) Xwin-RM, modelos de recompensa treinados no Xwin-Pair, desenvolvidos em escalas de 7B, 13B e 70B parâmetros; (4) Xwin-Set, um conjunto de dados de preferência multiwise no qual cada prompt está vinculado a 64 respostas únicas geradas pelo Xwin-LM-SFT e pontuadas pelo Xwin-RM; (5) Xwin-LM-RS, modelos ajustados com as respostas de maior pontuação do Xwin-Set; (6) Xwin-LM-DPO, modelos otimizados no Xwin-Set usando o algoritmo DPO. Nossas avaliações no AlpacaEval e MT-bench demonstram melhorias consistentes e significativas ao longo do pipeline, evidenciando a força e escalabilidade do Xwin-LM. O repositório https://github.com/Xwin-LM/Xwin-LM será continuamente atualizado para fomentar a pesquisa comunitária.

English

In this work, we present Xwin-LM, a comprehensive suite of alignment methodologies for large language models (LLMs). This suite encompasses several key techniques, including supervised finetuning (SFT), reward modeling (RM), rejection sampling finetuning (RS), and direct preference optimization (DPO). The key components are as follows: (1) Xwin-LM-SFT, models initially finetuned with high-quality instruction data; (2) Xwin-Pair, a large-scale, multi-turn preference dataset meticulously annotated using GPT-4; (3) Xwin-RM, reward models trained on Xwin-Pair, developed at scales of 7B, 13B, and 70B parameters; (4) Xwin-Set, a multiwise preference dataset in which each prompt is linked to 64 unique responses generated by Xwin-LM-SFT and scored by Xwin-RM; (5) Xwin-LM-RS, models finetuned with the highest-scoring responses from Xwin-Set; (6) Xwin-LM-DPO, models further optimized on Xwin-Set using the DPO algorithm. Our evaluations on AlpacaEval and MT-bench demonstrate consistent and significant improvements across the pipeline, demonstrating the strength and scalability of Xwin-LM. The repository https://github.com/Xwin-LM/Xwin-LM will be continually updated to foster community research.