Технический отчет по выравниванию Baichuan

Baichuan Alignment Technical Report

October 19, 2024

Авторы: Mingan Lin, Fan Yang, Yanjun Shen, Haoze Sun, Tianpeng Li, Tao Zhang, Chenzheng Zhu, Tao Zhang, Miao Zheng, Xu Li, Yijie Zhou, Mingyang Chen, Yanzhao Qin, Youquan Li, Hao Liang, Fei Li, Yadong Li, Mang Wang, Guosheng Dong, Kun Fang, Jianhua Xu, Bin Cui, Wentao Zhang, Zenan Zhou, Weipeng Chen

cs.AI

Аннотация

Мы представляем Baichuan Alignment, детальный анализ методов выравнивания, используемых в серии моделей Baichuan. Это представляет собой первый в отрасли исчерпывающий обзор методологий выравнивания, предлагающий ценные идеи для продвижения исследований в области искусственного интеллекта. Мы исследуем ключевые компоненты, улучшающие производительность модели во время процесса выравнивания, включая методы оптимизации, стратегии данных, улучшения возможностей и процессы оценки. Процесс охватывает три ключевых этапа: систему дополнения запроса (PAS), надзорную донастройку (SFT) и выравнивание предпочтений. Проблемы, с которыми столкнулись, примененные решения и внесенные улучшения тщательно документированы. Путем сравнения с хорошо установленными эталонами мы выделяем технологические достижения, обеспеченные Baichuan Alignment. Baichuan-Instruct является внутренней моделью, в то время как Qwen2-Nova-72B и Llama3-PBM-Nova-70B являются версиями с инструкциями базовых моделей Qwen2-72B и Llama-3-70B, оптимизированными через Baichuan Alignment. Baichuan-Instruct демонстрирует значительные улучшения в основных возможностях, с повышением уровня удовлетворенности пользователя от 17% до 28% и показывает исключительные результаты на специализированных эталонах. В оценках открытых эталонов Qwen2-Nova-72B и Llama3-PBM-Nova-70B последовательно превосходят свои соответствующие официальные версии с инструкциями почти на всех наборах данных. Настоящий отчет направлен на разъяснение ключевых технологий, лежащих в основе процесса выравнивания, способствуя более глубокому пониманию в сообществе. Модель Llama3-PBM-Nova-70B доступна по ссылке https://huggingface.co/PKU-Baichuan-MLSystemLab/Llama3-PBM-Nova-70B.

English

We introduce Baichuan Alignment, a detailed analysis of the alignment techniques employed in the Baichuan series of models. This represents the industry's first comprehensive account of alignment methodologies, offering valuable insights for advancing AI research. We investigate the critical components that enhance model performance during the alignment process, including optimization methods, data strategies, capability enhancements, and evaluation processes. The process spans three key stages: Prompt Augmentation System (PAS), Supervised Fine-Tuning (SFT), and Preference Alignment. The problems encountered, the solutions applied, and the improvements made are thoroughly recorded. Through comparisons across well-established benchmarks, we highlight the technological advancements enabled by Baichuan Alignment. Baichuan-Instruct is an internal model, while Qwen2-Nova-72B and Llama3-PBM-Nova-70B are instruct versions of the Qwen2-72B and Llama-3-70B base models, optimized through Baichuan Alignment. Baichuan-Instruct demonstrates significant improvements in core capabilities, with user experience gains ranging from 17% to 28%, and performs exceptionally well on specialized benchmarks. In open-source benchmark evaluations, both Qwen2-Nova-72B and Llama3-PBM-Nova-70B consistently outperform their respective official instruct versions across nearly all datasets. This report aims to clarify the key technologies behind the alignment process, fostering a deeper understanding within the community. Llama3-PBM-Nova-70B model is available at https://huggingface.co/PKU-Baichuan-MLSystemLab/Llama3-PBM-Nova-70B.