Los Conjuntos de Datos FineWeb: Filtrando la Web para Obtener los Mejores Datos de Texto a EscalaThe FineWeb Datasets: Decanting the Web for the Finest Text Data at
Scale
El rendimiento de un modelo de lenguaje grande (LLM, por sus siglas en inglés) depende en gran medida de la calidad y el tamaño de su conjunto de datos de preentrenamiento. Sin embargo, los conjuntos de datos de preentrenamiento para LLMs de última generación y de código abierto, como Llama 3 y Mixtral, no están disponibles públicamente y se sabe muy poco sobre cómo fueron creados. En este trabajo, presentamos FineWeb, un conjunto de datos de 15 billones de tokens derivado de 96 instantáneas de Common Crawl que produce LLMs con un mejor rendimiento que otros conjuntos de datos de preentrenamiento abiertos. Para avanzar en la comprensión de cómo seleccionar mejor conjuntos de datos de preentrenamiento de alta calidad, documentamos y analizamos detalladamente todas las decisiones de diseño utilizadas en FineWeb, incluyendo investigaciones exhaustivas sobre estrategias de deduplicación y filtrado. Además, presentamos FineWeb-Edu, una colección de 1.3 billones de tokens de texto educativo filtrado de FineWeb. Los LLMs preentrenados en FineWeb-Edu muestran un rendimiento notablemente mejor en benchmarks intensivos en conocimiento y razonamiento, como MMLU y ARC. Junto con nuestros conjuntos de datos, publicamos nuestro código de curación de datos y todos los modelos entrenados durante nuestros experimentos de análisis.