BaichuanSEED: Erschließung des Potenzials umfangreicher Datensammlung und Deduplizierung durch Einführung eines wettbewerbsfähigen Basismodells eines großen Sprachmodells

BaichuanSEED: Sharing the Potential of ExtensivE Data Collection and Deduplication by Introducing a Competitive Large Language Model Baseline

August 27, 2024

Autoren: Guosheng Dong, Da Pan, Yiding Sun, Shusen Zhang, Zheng Liang, Xin Wu, Yanjun Shen, Fan Yang, Haoze Sun, Tianpeng Li, Mingan Lin, Jianhua Xu, Yufan Zhang, Xiaonan Nie, Lei Su, Bingning Wang, Wentao Zhang, Jiaxin Mao, Zenan Zhou, Weipeng Chen

cs.AI

Zusammenfassung

Die allgemeinen Fähigkeiten von Large Language Models (LLM) hängen stark von der Zusammensetzung und Auswahl umfangreicher Vortrainingsdatensätze ab, die von mehreren Institutionen als Geschäftsgeheimnisse behandelt werden. Um dieses Problem zu mildern, veröffentlichen wir die Details einer universell anwendbaren Datenverarbeitungspipeline und validieren deren Wirksamkeit und Potenzial, indem wir eine wettbewerbsfähige LLM-Baseline einführen. Konkret besteht die Datenverarbeitungspipeline aus einer umfassenden Datensammlung zur Skalierung und einer Neugewichtung zur Verbesserung der Qualität. Anschließend trainieren wir ein 7B-Modell BaichuanSEED mit 3T Tokens, die von unserer Pipeline verarbeitet wurden, ohne eine gezielte Optimierung im Zusammenhang mit nachgelagerten Aufgaben, gefolgt von einer einfachen, aber effektiven überwachten Feinabstimmungsphase. BaichuanSEED zeigt während des Trainings Konsistenz und Vorhersagbarkeit und erzielt vergleichbare Leistungen auf umfassenden Benchmarks mit mehreren kommerziellen fortschrittlichen Large Language Models wie Qwen1.5 und Llama3. Wir führen auch mehrere heuristische Experimente durch, um das Potenzial für eine weitere Optimierung von nachgelagerten Aufgaben wie Mathematik und Codierung zu diskutieren.

English

The general capabilities of Large Language Models (LLM) highly rely on the composition and selection on extensive pretraining datasets, treated as commercial secrets by several institutions. To mitigate this issue, we open-source the details of a universally applicable data processing pipeline and validate its effectiveness and potential by introducing a competitive LLM baseline. Specifically, the data processing pipeline consists of broad collection to scale up and reweighting to improve quality. We then pretrain a 7B model BaichuanSEED with 3T tokens processed by our pipeline without any deliberate downstream task-related optimization, followed by an easy but effective supervised fine-tuning stage. BaichuanSEED demonstrates consistency and predictability throughout training and achieves comparable performance on comprehensive benchmarks with several commercial advanced large language models, such as Qwen1.5 and Llama3. We also conduct several heuristic experiments to discuss the potential for further optimization of downstream tasks, such as mathematics and coding.