Kwaliteit beoordelen over talen heen: Een meertalige aanpak voor het filteren van voorafgaande trainingsgegevens met taalmmodellen

Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models

May 28, 2025

Auteurs: Mehdi Ali, Manuel Brack, Max Lübbering, Elias Wendt, Abbas Goher Khan, Richard Rutmann, Alex Jude, Maurice Kraus, Alexander Arno Weber, Felix Stollenwerk, David Kaczér, Florian Mai, Lucie Flek, Rafet Sifa, Nicolas Flores-Herr, Joachim Köhler, Patrick Schramowski, Michael Fromm, Kristian Kersting

cs.AI

Samenvatting

Hoogwaardige meertalige trainingsdata is essentieel voor het effectief pretrainen van grote taalmmodellen (LLM's). Toch blijft de beschikbaarheid van geschikte open-source meertalige datasets beperkt. Bestaande state-of-the-art datasets vertrouwen voornamelijk op heuristische filtermethoden, wat zowel hun cross-linguale overdraagbaarheid als schaalbaarheid beperkt. Hier introduceren we JQL, een systematische aanpak die efficiënt diverse en hoogwaardige meertalige data op schaal samenstelt, terwijl de computationele eisen aanzienlijk worden verlaagd. JQL destilleert de annotatiecapaciteiten van LLM's in lichtgewicht annotatoren gebaseerd op voorgetrainde meertalige embeddings. Deze modellen tonen robuuste meertalige en cross-linguale prestaties, zelfs voor talen en schriften die niet tijdens de training zijn gezien. Empirisch geëvalueerd over 35 talen, overtreft het resulterende annotatiepijplijn huidige heuristische filtermethoden zoals Fineweb2 aanzienlijk. JQL verbetert opmerkelijkerwijs de kwaliteit van downstream modeltraining en verhoogt de dataretentieratio's. Ons onderzoek biedt praktische inzichten en waardevolle bronnen voor meertalige datacuratie, waardoor de standaarden voor de ontwikkeling van meertalige datasets worden verhoogd.

English

High-quality multilingual training data is essential for effectively pretraining large language models (LLMs). Yet, the availability of suitable open-source multilingual datasets remains limited. Existing state-of-the-art datasets mostly rely on heuristic filtering methods, restricting both their cross-lingual transferability and scalability. Here, we introduce JQL, a systematic approach that efficiently curates diverse and high-quality multilingual data at scale while significantly reducing computational demands. JQL distills LLMs' annotation capabilities into lightweight annotators based on pretrained multilingual embeddings. These models exhibit robust multilingual and cross-lingual performance, even for languages and scripts unseen during training. Evaluated empirically across 35 languages, the resulting annotation pipeline substantially outperforms current heuristic filtering methods like Fineweb2. JQL notably enhances downstream model training quality and increases data retention rates. Our research provides practical insights and valuable resources for multilingual data curation, raising the standards of multilingual dataset development.