Relatório Técnico de Alinhamento Baichuan

Baichuan Alignment Technical Report

October 19, 2024

Autores: Mingan Lin, Fan Yang, Yanjun Shen, Haoze Sun, Tianpeng Li, Tao Zhang, Chenzheng Zhu, Tao Zhang, Miao Zheng, Xu Li, Yijie Zhou, Mingyang Chen, Yanzhao Qin, Youquan Li, Hao Liang, Fei Li, Yadong Li, Mang Wang, Guosheng Dong, Kun Fang, Jianhua Xu, Bin Cui, Wentao Zhang, Zenan Zhou, Weipeng Chen

cs.AI

Resumo

Apresentamos o Alinhamento Baichuan, uma análise detalhada das técnicas de alinhamento empregadas na série de modelos Baichuan. Isso representa o primeiro relato abrangente da indústria sobre metodologias de alinhamento, oferecendo insights valiosos para o avanço da pesquisa em IA. Investigamos os componentes críticos que aprimoram o desempenho do modelo durante o processo de alinhamento, incluindo métodos de otimização, estratégias de dados, aprimoramentos de capacidade e processos de avaliação. O processo abrange três etapas-chave: Sistema de Augmentação de Prompt (PAS), Ajuste Fino Supervisionado (SFT) e Alinhamento de Preferência. Os problemas encontrados, as soluções aplicadas e as melhorias realizadas são minuciosamente registrados. Por meio de comparações em benchmarks bem estabelecidos, destacamos os avanços tecnológicos possibilitados pelo Alinhamento Baichuan. O Baichuan-Instruct é um modelo interno, enquanto o Qwen2-Nova-72B e o Llama3-PBM-Nova-70B são versões instruct dos modelos base Qwen2-72B e Llama-3-70B, otimizados por meio do Alinhamento Baichuan. O Baichuan-Instruct demonstra melhorias significativas nas capacidades principais, com ganhos na experiência do usuário variando de 17% a 28%, e apresenta um desempenho excepcional em benchmarks especializados. Em avaliações de benchmarks de código aberto, tanto o Qwen2-Nova-72B quanto o Llama3-PBM-Nova-70B superam consistentemente suas respectivas versões instruct oficiais em quase todos os conjuntos de dados. Este relatório tem como objetivo esclarecer as principais tecnologias por trás do processo de alinhamento, promovendo uma compreensão mais profunda dentro da comunidade. O modelo Llama3-PBM-Nova-70B está disponível em https://huggingface.co/PKU-Baichuan-MLSystemLab/Llama3-PBM-Nova-70B.

English

We introduce Baichuan Alignment, a detailed analysis of the alignment techniques employed in the Baichuan series of models. This represents the industry's first comprehensive account of alignment methodologies, offering valuable insights for advancing AI research. We investigate the critical components that enhance model performance during the alignment process, including optimization methods, data strategies, capability enhancements, and evaluation processes. The process spans three key stages: Prompt Augmentation System (PAS), Supervised Fine-Tuning (SFT), and Preference Alignment. The problems encountered, the solutions applied, and the improvements made are thoroughly recorded. Through comparisons across well-established benchmarks, we highlight the technological advancements enabled by Baichuan Alignment. Baichuan-Instruct is an internal model, while Qwen2-Nova-72B and Llama3-PBM-Nova-70B are instruct versions of the Qwen2-72B and Llama-3-70B base models, optimized through Baichuan Alignment. Baichuan-Instruct demonstrates significant improvements in core capabilities, with user experience gains ranging from 17% to 28%, and performs exceptionally well on specialized benchmarks. In open-source benchmark evaluations, both Qwen2-Nova-72B and Llama3-PBM-Nova-70B consistently outperform their respective official instruct versions across nearly all datasets. This report aims to clarify the key technologies behind the alignment process, fostering a deeper understanding within the community. Llama3-PBM-Nova-70B model is available at https://huggingface.co/PKU-Baichuan-MLSystemLab/Llama3-PBM-Nova-70B.