BaichuanSEED: Compartilhando o Potencial da Coleta Extensiva de Dados e Deduplicação ao Introduzir uma Linha de Base Competitiva de um Modelo de Linguagem Grande

BaichuanSEED: Sharing the Potential of ExtensivE Data Collection and Deduplication by Introducing a Competitive Large Language Model Baseline

August 27, 2024

Autores: Guosheng Dong, Da Pan, Yiding Sun, Shusen Zhang, Zheng Liang, Xin Wu, Yanjun Shen, Fan Yang, Haoze Sun, Tianpeng Li, Mingan Lin, Jianhua Xu, Yufan Zhang, Xiaonan Nie, Lei Su, Bingning Wang, Wentao Zhang, Jiaxin Mao, Zenan Zhou, Weipeng Chen

cs.AI

Resumo

As capacidades gerais dos Modelos de Linguagem de Grande Escala (LLM) dependem fortemente da composição e seleção de extensos conjuntos de dados de pré-treinamento, tratados como segredos comerciais por várias instituições. Para mitigar esse problema, tornamos públicos os detalhes de um pipeline de processamento de dados universalmente aplicável e validamos sua eficácia e potencial ao introduzir uma linha de base competitiva de LLM. Especificamente, o pipeline de processamento de dados consiste em uma ampla coleta para aumentar a escala e reponderação para melhorar a qualidade. Em seguida, pré-treinamos um modelo 7B BaichuanSEED com 3T tokens processados pelo nosso pipeline sem nenhuma otimização deliberada relacionada à tarefa downstream, seguido por uma etapa de ajuste fino supervisionado simples, mas eficaz. O BaichuanSEED demonstra consistência e previsibilidade ao longo do treinamento e alcança desempenho comparável em benchmarks abrangentes com vários modelos de linguagem grandes avançados comerciais, como o Qwen1.5 e o Llama3. Também realizamos vários experimentos heurísticos para discutir o potencial de otimização adicional de tarefas downstream, como matemática e codificação.

English

The general capabilities of Large Language Models (LLM) highly rely on the composition and selection on extensive pretraining datasets, treated as commercial secrets by several institutions. To mitigate this issue, we open-source the details of a universally applicable data processing pipeline and validate its effectiveness and potential by introducing a competitive LLM baseline. Specifically, the data processing pipeline consists of broad collection to scale up and reweighting to improve quality. We then pretrain a 7B model BaichuanSEED with 3T tokens processed by our pipeline without any deliberate downstream task-related optimization, followed by an easy but effective supervised fine-tuning stage. BaichuanSEED demonstrates consistency and predictability throughout training and achieves comparable performance on comprehensive benchmarks with several commercial advanced large language models, such as Qwen1.5 and Llama3. We also conduct several heuristic experiments to discuss the potential for further optimization of downstream tasks, such as mathematics and coding.