Evaluación de Calidad entre Idiomas: Un Enfoque Multilingüe para el Filtrado de Datos de Pretrenamiento con Modelos de Lenguaje

Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models

May 28, 2025

Autores: Mehdi Ali, Manuel Brack, Max Lübbering, Elias Wendt, Abbas Goher Khan, Richard Rutmann, Alex Jude, Maurice Kraus, Alexander Arno Weber, Felix Stollenwerk, David Kaczér, Florian Mai, Lucie Flek, Rafet Sifa, Nicolas Flores-Herr, Joachim Köhler, Patrick Schramowski, Michael Fromm, Kristian Kersting

cs.AI

Resumen

Los datos de entrenamiento multilingüe de alta calidad son esenciales para el preentrenamiento efectivo de modelos de lenguaje grandes (LLMs, por sus siglas en inglés). Sin embargo, la disponibilidad de conjuntos de datos multilingües de código abierto adecuados sigue siendo limitada. Los conjuntos de datos más avanzados existentes se basan principalmente en métodos de filtrado heurístico, lo que restringe tanto su transferibilidad cruzada entre idiomas como su escalabilidad. Aquí presentamos JQL, un enfoque sistemático que selecciona de manera eficiente datos multilingües diversos y de alta calidad a gran escala, reduciendo significativamente las demandas computacionales. JQL destila las capacidades de anotación de los LLMs en anotadores ligeros basados en embeddings multilingües preentrenados. Estos modelos muestran un rendimiento robusto tanto multilingüe como cruzado entre idiomas, incluso para lenguajes y escrituras no vistos durante el entrenamiento. Evaluado empíricamente en 35 idiomas, la canalización de anotación resultante supera sustancialmente los métodos de filtrado heurístico actuales, como Fineweb2. JQL mejora notablemente la calidad del entrenamiento de modelos posteriores y aumenta las tasas de retención de datos. Nuestra investigación proporciona ideas prácticas y recursos valiosos para la curación de datos multilingües, elevando los estándares de desarrollo de conjuntos de datos multilingües.

English

High-quality multilingual training data is essential for effectively pretraining large language models (LLMs). Yet, the availability of suitable open-source multilingual datasets remains limited. Existing state-of-the-art datasets mostly rely on heuristic filtering methods, restricting both their cross-lingual transferability and scalability. Here, we introduce JQL, a systematic approach that efficiently curates diverse and high-quality multilingual data at scale while significantly reducing computational demands. JQL distills LLMs' annotation capabilities into lightweight annotators based on pretrained multilingual embeddings. These models exhibit robust multilingual and cross-lingual performance, even for languages and scripts unseen during training. Evaluated empirically across 35 languages, the resulting annotation pipeline substantially outperforms current heuristic filtering methods like Fineweb2. JQL notably enhances downstream model training quality and increases data retention rates. Our research provides practical insights and valuable resources for multilingual data curation, raising the standards of multilingual dataset development.