Xwin-LM: Prácticas Robustas y Escalables de Alineación para Modelos de Lenguaje de Gran Escala

Xwin-LM: Strong and Scalable Alignment Practice for LLMs

May 30, 2024

Autores: Bolin Ni, JingCheng Hu, Yixuan Wei, Houwen Peng, Zheng Zhang, Gaofeng Meng, Han Hu

cs.AI

Resumen

En este trabajo, presentamos Xwin-LM, un conjunto integral de metodologías de alineación para modelos de lenguaje de gran escala (LLMs). Este conjunto abarca varias técnicas clave, incluyendo ajuste fino supervisado (SFT), modelado de recompensas (RM), ajuste fino por muestreo de rechazo (RS) y optimización directa de preferencias (DPO). Los componentes principales son los siguientes: (1) Xwin-LM-SFT, modelos ajustados inicialmente con datos de instrucción de alta calidad; (2) Xwin-Pair, un conjunto de datos de preferencias a gran escala y de múltiples turnos, meticulosamente anotado utilizando GPT-4; (3) Xwin-RM, modelos de recompensa entrenados en Xwin-Pair, desarrollados con escalas de 7B, 13B y 70B parámetros; (4) Xwin-Set, un conjunto de datos de preferencias múltiples en el que cada indicación está vinculada a 64 respuestas únicas generadas por Xwin-LM-SFT y puntuadas por Xwin-RM; (5) Xwin-LM-RS, modelos ajustados con las respuestas de mayor puntuación de Xwin-Set; (6) Xwin-LM-DPO, modelos optimizados adicionalmente en Xwin-Set utilizando el algoritmo DPO. Nuestras evaluaciones en AlpacaEval y MT-bench demuestran mejoras consistentes y significativas a lo largo de la pipeline, evidenciando la fortaleza y escalabilidad de Xwin-LM. El repositorio https://github.com/Xwin-LM/Xwin-LM se actualizará continuamente para fomentar la investigación comunitaria.

English

In this work, we present Xwin-LM, a comprehensive suite of alignment methodologies for large language models (LLMs). This suite encompasses several key techniques, including supervised finetuning (SFT), reward modeling (RM), rejection sampling finetuning (RS), and direct preference optimization (DPO). The key components are as follows: (1) Xwin-LM-SFT, models initially finetuned with high-quality instruction data; (2) Xwin-Pair, a large-scale, multi-turn preference dataset meticulously annotated using GPT-4; (3) Xwin-RM, reward models trained on Xwin-Pair, developed at scales of 7B, 13B, and 70B parameters; (4) Xwin-Set, a multiwise preference dataset in which each prompt is linked to 64 unique responses generated by Xwin-LM-SFT and scored by Xwin-RM; (5) Xwin-LM-RS, models finetuned with the highest-scoring responses from Xwin-Set; (6) Xwin-LM-DPO, models further optimized on Xwin-Set using the DPO algorithm. Our evaluations on AlpacaEval and MT-bench demonstrate consistent and significant improvements across the pipeline, demonstrating the strength and scalability of Xwin-LM. The repository https://github.com/Xwin-LM/Xwin-LM will be continually updated to foster community research.