Évaluer la qualité à travers les langues : Une approche multilingue pour le filtrage des données de prétraitement avec des modèles de langage

Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models

May 28, 2025

Auteurs: Mehdi Ali, Manuel Brack, Max Lübbering, Elias Wendt, Abbas Goher Khan, Richard Rutmann, Alex Jude, Maurice Kraus, Alexander Arno Weber, Felix Stollenwerk, David Kaczér, Florian Mai, Lucie Flek, Rafet Sifa, Nicolas Flores-Herr, Joachim Köhler, Patrick Schramowski, Michael Fromm, Kristian Kersting

cs.AI

Résumé

Des données d'entraînement multilingues de haute qualité sont essentielles pour le pré-entraînement efficace des grands modèles de langage (LLMs). Cependant, la disponibilité de jeux de données multilingues open-source appropriés reste limitée. Les jeux de données actuels de pointe reposent principalement sur des méthodes de filtrage heuristique, ce qui limite à la fois leur transférabilité interlingue et leur évolutivité. Nous présentons ici JQL, une approche systématique qui permet de constituer efficacement des données multilingues diversifiées et de haute qualité à grande échelle, tout en réduisant considérablement les besoins en calcul. JQL distille les capacités d'annotation des LLMs en annotateurs légers basés sur des embeddings multilingues pré-entraînés. Ces modèles démontrent des performances multilingues et interlingues robustes, même pour des langues et des scripts non vus pendant l'entraînement. Évalué empiriquement sur 35 langues, le pipeline d'annotation qui en résulte surpasse largement les méthodes de filtrage heuristique actuelles comme Fineweb2. JQL améliore notablement la qualité de l'entraînement des modèles en aval et augmente les taux de rétention des données. Notre recherche fournit des insights pratiques et des ressources précieuses pour la curation de données multilingues, élevant les standards de développement des jeux de données multilingues.

English

High-quality multilingual training data is essential for effectively pretraining large language models (LLMs). Yet, the availability of suitable open-source multilingual datasets remains limited. Existing state-of-the-art datasets mostly rely on heuristic filtering methods, restricting both their cross-lingual transferability and scalability. Here, we introduce JQL, a systematic approach that efficiently curates diverse and high-quality multilingual data at scale while significantly reducing computational demands. JQL distills LLMs' annotation capabilities into lightweight annotators based on pretrained multilingual embeddings. These models exhibit robust multilingual and cross-lingual performance, even for languages and scripts unseen during training. Evaluated empirically across 35 languages, the resulting annotation pipeline substantially outperforms current heuristic filtering methods like Fineweb2. JQL notably enhances downstream model training quality and increases data retention rates. Our research provides practical insights and valuable resources for multilingual data curation, raising the standards of multilingual dataset development.