Informe Técnico de Alineación Baichuan

Baichuan Alignment Technical Report

October 19, 2024

Autores: Mingan Lin, Fan Yang, Yanjun Shen, Haoze Sun, Tianpeng Li, Tao Zhang, Chenzheng Zhu, Tao Zhang, Miao Zheng, Xu Li, Yijie Zhou, Mingyang Chen, Yanzhao Qin, Youquan Li, Hao Liang, Fei Li, Yadong Li, Mang Wang, Guosheng Dong, Kun Fang, Jianhua Xu, Bin Cui, Wentao Zhang, Zenan Zhou, Weipeng Chen

cs.AI

Resumen

Presentamos Baichuan Alignment, un análisis detallado de las técnicas de alineación empleadas en la serie de modelos Baichuan. Esto representa el primer informe exhaustivo de metodologías de alineación en la industria, ofreciendo ideas valiosas para avanzar en la investigación de IA. Investigamos los componentes críticos que mejoran el rendimiento del modelo durante el proceso de alineación, incluyendo métodos de optimización, estrategias de datos, mejoras de capacidades y procesos de evaluación. El proceso abarca tres etapas clave: Sistema de Aumento de Prompt (PAS), Ajuste Fino Supervisado (SFT) y Alineación de Preferencias. Los problemas encontrados, las soluciones aplicadas y las mejoras realizadas están registradas exhaustivamente. A través de comparaciones en benchmarks bien establecidos, destacamos los avances tecnológicos habilitados por Baichuan Alignment. Baichuan-Instruct es un modelo interno, mientras que Qwen2-Nova-72B y Llama3-PBM-Nova-70B son versiones instruct de los modelos base Qwen2-72B y Llama-3-70B, optimizados mediante Baichuan Alignment. Baichuan-Instruct muestra mejoras significativas en capacidades centrales, con mejoras en la experiencia del usuario que van del 17% al 28%, y tiene un rendimiento excepcional en benchmarks especializados. En evaluaciones de benchmarks de código abierto, tanto Qwen2-Nova-72B como Llama3-PBM-Nova-70B superan consistentemente a sus respectivas versiones instruct oficiales en casi todos los conjuntos de datos. Este informe tiene como objetivo aclarar las tecnologías clave detrás del proceso de alineación, fomentando una comprensión más profunda dentro de la comunidad. El modelo Llama3-PBM-Nova-70B está disponible en https://huggingface.co/PKU-Baichuan-MLSystemLab/Llama3-PBM-Nova-70B.

English

We introduce Baichuan Alignment, a detailed analysis of the alignment techniques employed in the Baichuan series of models. This represents the industry's first comprehensive account of alignment methodologies, offering valuable insights for advancing AI research. We investigate the critical components that enhance model performance during the alignment process, including optimization methods, data strategies, capability enhancements, and evaluation processes. The process spans three key stages: Prompt Augmentation System (PAS), Supervised Fine-Tuning (SFT), and Preference Alignment. The problems encountered, the solutions applied, and the improvements made are thoroughly recorded. Through comparisons across well-established benchmarks, we highlight the technological advancements enabled by Baichuan Alignment. Baichuan-Instruct is an internal model, while Qwen2-Nova-72B and Llama3-PBM-Nova-70B are instruct versions of the Qwen2-72B and Llama-3-70B base models, optimized through Baichuan Alignment. Baichuan-Instruct demonstrates significant improvements in core capabilities, with user experience gains ranging from 17% to 28%, and performs exceptionally well on specialized benchmarks. In open-source benchmark evaluations, both Qwen2-Nova-72B and Llama3-PBM-Nova-70B consistently outperform their respective official instruct versions across nearly all datasets. This report aims to clarify the key technologies behind the alignment process, fostering a deeper understanding within the community. Llama3-PBM-Nova-70B model is available at https://huggingface.co/PKU-Baichuan-MLSystemLab/Llama3-PBM-Nova-70B.