Rapporto Tecnico sull'Allineamento Baichuan

Baichuan Alignment Technical Report

October 19, 2024

Autori: Mingan Lin, Fan Yang, Yanjun Shen, Haoze Sun, Tianpeng Li, Tao Zhang, Chenzheng Zhu, Tao Zhang, Miao Zheng, Xu Li, Yijie Zhou, Mingyang Chen, Yanzhao Qin, Youquan Li, Hao Liang, Fei Li, Yadong Li, Mang Wang, Guosheng Dong, Kun Fang, Jianhua Xu, Bin Cui, Wentao Zhang, Zenan Zhou, Weipeng Chen

cs.AI

Abstract

Introduciamo Baichuan Alignment, un'analisi dettagliata delle tecniche di allineamento impiegate nella serie di modelli Baichuan. Questo rappresenta il primo resoconto esaustivo dell'industria sulle metodologie di allineamento, offrendo preziose intuizioni per far progredire la ricerca in AI. Investigiamo i componenti critici che migliorano le prestazioni del modello durante il processo di allineamento, inclusi metodi di ottimizzazione, strategie di dati, potenziamenti delle capacità e processi di valutazione. Il processo si articola in tre fasi chiave: Sistema di Potenziamento dei Prompts (PAS), Fine-Tuning Supervisionato (SFT) e Allineamento delle Preferenze. I problemi riscontrati, le soluzioni applicate e i miglioramenti apportati sono registrati in modo approfondito. Attraverso confronti su benchmark consolidati, mettiamo in evidenza i progressi tecnologici resi possibili da Baichuan Alignment. Baichuan-Instruct è un modello interno, mentre Qwen2-Nova-72B e Llama3-PBM-Nova-70B sono versioni instruct dei modelli di base Qwen2-72B e Llama-3-70B, ottimizzati tramite Baichuan Alignment. Baichuan-Instruct mostra miglioramenti significativi nelle capacità principali, con incrementi nell'esperienza utente che vanno dal 17% al 28%, e si comporta eccezionalmente bene su benchmark specializzati. Nelle valutazioni dei benchmark open-source, sia Qwen2-Nova-72B che Llama3-PBM-Nova-70B superano costantemente le rispettive versioni ufficiali instruct su quasi tutti i dataset. Questo rapporto mira a chiarire le tecnologie chiave dietro il processo di allineamento, promuovendo una comprensione più approfondita all'interno della comunità. Il modello Llama3-PBM-Nova-70B è disponibile su https://huggingface.co/PKU-Baichuan-MLSystemLab/Llama3-PBM-Nova-70B.

English

We introduce Baichuan Alignment, a detailed analysis of the alignment techniques employed in the Baichuan series of models. This represents the industry's first comprehensive account of alignment methodologies, offering valuable insights for advancing AI research. We investigate the critical components that enhance model performance during the alignment process, including optimization methods, data strategies, capability enhancements, and evaluation processes. The process spans three key stages: Prompt Augmentation System (PAS), Supervised Fine-Tuning (SFT), and Preference Alignment. The problems encountered, the solutions applied, and the improvements made are thoroughly recorded. Through comparisons across well-established benchmarks, we highlight the technological advancements enabled by Baichuan Alignment. Baichuan-Instruct is an internal model, while Qwen2-Nova-72B and Llama3-PBM-Nova-70B are instruct versions of the Qwen2-72B and Llama-3-70B base models, optimized through Baichuan Alignment. Baichuan-Instruct demonstrates significant improvements in core capabilities, with user experience gains ranging from 17% to 28%, and performs exceptionally well on specialized benchmarks. In open-source benchmark evaluations, both Qwen2-Nova-72B and Llama3-PBM-Nova-70B consistently outperform their respective official instruct versions across nearly all datasets. This report aims to clarify the key technologies behind the alignment process, fostering a deeper understanding within the community. Llama3-PBM-Nova-70B model is available at https://huggingface.co/PKU-Baichuan-MLSystemLab/Llama3-PBM-Nova-70B.