BaichuanSEED: Compartiendo el Potencial de la Recopilación Extensiva de Datos y Duplicación al Introducir una Línea de Base Competitiva de un Gran Modelo de Lenguaje.

BaichuanSEED: Sharing the Potential of ExtensivE Data Collection and Deduplication by Introducing a Competitive Large Language Model Baseline

August 27, 2024

Autores: Guosheng Dong, Da Pan, Yiding Sun, Shusen Zhang, Zheng Liang, Xin Wu, Yanjun Shen, Fan Yang, Haoze Sun, Tianpeng Li, Mingan Lin, Jianhua Xu, Yufan Zhang, Xiaonan Nie, Lei Su, Bingning Wang, Wentao Zhang, Jiaxin Mao, Zenan Zhou, Weipeng Chen

cs.AI

Resumen

Las capacidades generales de los Modelos de Lenguaje de Gran Tamaño (LLM) dependen en gran medida de la composición y selección de extensos conjuntos de datos de preentrenamiento, tratados como secretos comerciales por varias instituciones. Para mitigar este problema, abrimos los detalles de un canal de procesamiento de datos universalmente aplicable y validamos su eficacia y potencial al presentar una línea base competitiva de LLM. Específicamente, el canal de procesamiento de datos consiste en una amplia recolección para escalar y reponderar para mejorar la calidad. Luego preentrenamos un modelo BaichuanSEED de 7B con 3T de tokens procesados por nuestro canal sin ninguna optimización deliberada relacionada con tareas posteriores, seguido de una etapa de ajuste fino supervisado simple pero efectiva. BaichuanSEED demuestra consistencia y previsibilidad a lo largo del entrenamiento y logra un rendimiento comparable en pruebas exhaustivas con varios modelos de lenguaje de gran tamaño avanzados comerciales, como Qwen1.5 y Llama3. También realizamos varios experimentos heurísticos para discutir el potencial de una mayor optimización de tareas posteriores, como matemáticas y codificación.

English

The general capabilities of Large Language Models (LLM) highly rely on the composition and selection on extensive pretraining datasets, treated as commercial secrets by several institutions. To mitigate this issue, we open-source the details of a universally applicable data processing pipeline and validate its effectiveness and potential by introducing a competitive LLM baseline. Specifically, the data processing pipeline consists of broad collection to scale up and reweighting to improve quality. We then pretrain a 7B model BaichuanSEED with 3T tokens processed by our pipeline without any deliberate downstream task-related optimization, followed by an easy but effective supervised fine-tuning stage. BaichuanSEED demonstrates consistency and predictability throughout training and achieves comparable performance on comprehensive benchmarks with several commercial advanced large language models, such as Qwen1.5 and Llama3. We also conduct several heuristic experiments to discuss the potential for further optimization of downstream tasks, such as mathematics and coding.