BaichuanSEED: Het potentieel delen van uitgebreide gegevensverzameling en deduplicatie door het introduceren van een competitieve basislijn voor grote taalmodellen

BaichuanSEED: Sharing the Potential of ExtensivE Data Collection and Deduplication by Introducing a Competitive Large Language Model Baseline

August 27, 2024

Auteurs: Guosheng Dong, Da Pan, Yiding Sun, Shusen Zhang, Zheng Liang, Xin Wu, Yanjun Shen, Fan Yang, Haoze Sun, Tianpeng Li, Mingan Lin, Jianhua Xu, Yufan Zhang, Xiaonan Nie, Lei Su, Bingning Wang, Wentao Zhang, Jiaxin Mao, Zenan Zhou, Weipeng Chen

cs.AI

Samenvatting

De algemene capaciteiten van Large Language Models (LLM) zijn sterk afhankelijk van de samenstelling en selectie van uitgebreide pretrainingsdatasets, die door verschillende instellingen als handelsgeheimen worden behandeld. Om dit probleem te verlichten, maken wij de details van een universeel toepasbare dataprocessingpipeline openbaar en valideren we de effectiviteit en het potentieel ervan door een competitieve LLM-baseline te introduceren. Specifiek bestaat de dataprocessingpipeline uit een brede verzameling om de schaal te vergroten en herweging om de kwaliteit te verbeteren. Vervolgens pretrainen we een 7B-model, BaichuanSEED, met 3T tokens die door onze pipeline zijn verwerkt, zonder enige opzettelijke optimalisatie voor downstreamtaken, gevolgd door een eenvoudig maar effectief stadium van supervised fine-tuning. BaichuanSEED toont consistentie en voorspelbaarheid gedurende de training en behaalt vergelijkbare prestaties op uitgebreide benchmarks met verschillende geavanceerde commerciële grote taalmodellen, zoals Qwen1.5 en Llama3. We voeren ook verschillende heuristische experimenten uit om het potentieel voor verdere optimalisatie van downstreamtaken, zoals wiskunde en codering, te bespreken.

English

The general capabilities of Large Language Models (LLM) highly rely on the composition and selection on extensive pretraining datasets, treated as commercial secrets by several institutions. To mitigate this issue, we open-source the details of a universally applicable data processing pipeline and validate its effectiveness and potential by introducing a competitive LLM baseline. Specifically, the data processing pipeline consists of broad collection to scale up and reweighting to improve quality. We then pretrain a 7B model BaichuanSEED with 3T tokens processed by our pipeline without any deliberate downstream task-related optimization, followed by an easy but effective supervised fine-tuning stage. BaichuanSEED demonstrates consistency and predictability throughout training and achieves comparable performance on comprehensive benchmarks with several commercial advanced large language models, such as Qwen1.5 and Llama3. We also conduct several heuristic experiments to discuss the potential for further optimization of downstream tasks, such as mathematics and coding.