BaichuanSEED: Раскрытие потенциала обширного сбора данных и дедупликации путем внедрения конкурентоспособной базовой модели большого языкового моделирования.

BaichuanSEED: Sharing the Potential of ExtensivE Data Collection and Deduplication by Introducing a Competitive Large Language Model Baseline

August 27, 2024

Авторы: Guosheng Dong, Da Pan, Yiding Sun, Shusen Zhang, Zheng Liang, Xin Wu, Yanjun Shen, Fan Yang, Haoze Sun, Tianpeng Li, Mingan Lin, Jianhua Xu, Yufan Zhang, Xiaonan Nie, Lei Su, Bingning Wang, Wentao Zhang, Jiaxin Mao, Zenan Zhou, Weipeng Chen

cs.AI

Аннотация

Общие возможности больших языковых моделей (Large Language Models, LLM) в значительной степени зависят от состава и выбора обширных наборов данных для предварительного обучения, рассматриваемых как коммерческая тайна несколькими учреждениями. Для устранения этой проблемы мы предоставляем в открытый доступ детали универсального процесса обработки данных и подтверждаем его эффективность и потенциал, представив конкурентоспособную базовую модель LLM. Конкретно, процесс обработки данных включает в себя широкий сбор для масштабирования и перевзвешивание для улучшения качества. Затем мы предварительно обучаем модель BaichuanSEED на 3 трлн токенов, обработанных нашим процессом, без какой-либо преднамеренной оптимизации, связанной с конечной задачей, а затем проводим простую, но эффективную стадию надзорного дообучения. BaichuanSEED демонстрирует последовательность и предсказуемость на протяжении обучения и достигает сопоставимой производительности на обширных бенчмарках с несколькими коммерческими передовыми большими языковыми моделями, такими как Qwen1.5 и Llama3. Мы также проводим несколько эвристических экспериментов, чтобы обсудить потенциал для дальнейшей оптимизации конечных задач, таких как математика и программирование.

English

The general capabilities of Large Language Models (LLM) highly rely on the composition and selection on extensive pretraining datasets, treated as commercial secrets by several institutions. To mitigate this issue, we open-source the details of a universally applicable data processing pipeline and validate its effectiveness and potential by introducing a competitive LLM baseline. Specifically, the data processing pipeline consists of broad collection to scale up and reweighting to improve quality. We then pretrain a 7B model BaichuanSEED with 3T tokens processed by our pipeline without any deliberate downstream task-related optimization, followed by an easy but effective supervised fine-tuning stage. BaichuanSEED demonstrates consistency and predictability throughout training and achieves comparable performance on comprehensive benchmarks with several commercial advanced large language models, such as Qwen1.5 and Llama3. We also conduct several heuristic experiments to discuss the potential for further optimization of downstream tasks, such as mathematics and coding.