BaichuanSEED : Partager le potentiel de la collecte extensive de données et de la déduplication en introduisant une ligne de base compétitive basée sur un grand modèle de langue.

BaichuanSEED: Sharing the Potential of ExtensivE Data Collection and Deduplication by Introducing a Competitive Large Language Model Baseline

August 27, 2024

Auteurs: Guosheng Dong, Da Pan, Yiding Sun, Shusen Zhang, Zheng Liang, Xin Wu, Yanjun Shen, Fan Yang, Haoze Sun, Tianpeng Li, Mingan Lin, Jianhua Xu, Yufan Zhang, Xiaonan Nie, Lei Su, Bingning Wang, Wentao Zhang, Jiaxin Mao, Zenan Zhou, Weipeng Chen

cs.AI

Résumé

Les capacités générales des Grands Modèles de Langage (GML) dépendent fortement de la composition et de la sélection de vastes ensembles de données de pré-entraînement, traités comme des secrets commerciaux par plusieurs institutions. Pour atténuer ce problème, nous rendons publics les détails d'un pipeline de traitement de données universellement applicable et validons son efficacité et son potentiel en introduisant une ligne de base compétitive de GML. Plus précisément, le pipeline de traitement des données comprend une collecte large pour augmenter l'échelle et un rééquilibrage pour améliorer la qualité. Nous pré-entraînons ensuite un modèle 7B BaichuanSEED avec 3T de jetons traités par notre pipeline sans aucune optimisation délibérée liée à des tâches en aval, suivi d'une étape de fine-tuning supervisée simple mais efficace. BaichuanSEED démontre une cohérence et une prévisibilité tout au long de l'entraînement et atteint des performances comparables sur des référentiels complets avec plusieurs grands modèles de langage commerciaux avancés, tels que Qwen1.5 et Llama3. Nous menons également plusieurs expériences heuristiques pour discuter du potentiel d'optimisation supplémentaire des tâches en aval, telles que les mathématiques et la programmation.

English

The general capabilities of Large Language Models (LLM) highly rely on the composition and selection on extensive pretraining datasets, treated as commercial secrets by several institutions. To mitigate this issue, we open-source the details of a universally applicable data processing pipeline and validate its effectiveness and potential by introducing a competitive LLM baseline. Specifically, the data processing pipeline consists of broad collection to scale up and reweighting to improve quality. We then pretrain a 7B model BaichuanSEED with 3T tokens processed by our pipeline without any deliberate downstream task-related optimization, followed by an easy but effective supervised fine-tuning stage. BaichuanSEED demonstrates consistency and predictability throughout training and achieves comparable performance on comprehensive benchmarks with several commercial advanced large language models, such as Qwen1.5 and Llama3. We also conduct several heuristic experiments to discuss the potential for further optimization of downstream tasks, such as mathematics and coding.