Valutare la Qualità tra le Lingue: Un Approccio Multilingue al Filtraggio dei Dati di Pretraining con Modelli Linguistici

Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models

May 28, 2025

Autori: Mehdi Ali, Manuel Brack, Max Lübbering, Elias Wendt, Abbas Goher Khan, Richard Rutmann, Alex Jude, Maurice Kraus, Alexander Arno Weber, Felix Stollenwerk, David Kaczér, Florian Mai, Lucie Flek, Rafet Sifa, Nicolas Flores-Herr, Joachim Köhler, Patrick Schramowski, Michael Fromm, Kristian Kersting

cs.AI

Abstract

Dati di addestramento multilingue di alta qualità sono essenziali per il pre-addestramento efficace di grandi modelli linguistici (LLM). Tuttavia, la disponibilità di dataset multilingue open-source adeguati rimane limitata. Gli attuali dataset all'avanguardia si basano principalmente su metodi di filtraggio euristico, limitando sia la loro trasferibilità cross-linguale che la scalabilità. Qui presentiamo JQL, un approccio sistematico che cura in modo efficiente dati multilingue diversificati e di alta qualità su larga scala, riducendo significativamente le richieste computazionali. JQL distilla le capacità di annotazione degli LLM in annotatori leggeri basati su embedding multilingue pre-addestrati. Questi modelli dimostrano prestazioni robuste multilingue e cross-linguale, anche per lingue e script non visti durante l'addestramento. Valutato empiricamente su 35 lingue, la pipeline di annotazione risultante supera sostanzialmente i metodi di filtraggio euristico attuali come Fineweb2. JQL migliora notevolmente la qualità dell'addestramento dei modelli downstream e aumenta i tassi di ritenzione dei dati. La nostra ricerca fornisce intuizioni pratiche e risorse preziose per la cura di dati multilingue, elevando gli standard di sviluppo dei dataset multilingue.

English

High-quality multilingual training data is essential for effectively pretraining large language models (LLMs). Yet, the availability of suitable open-source multilingual datasets remains limited. Existing state-of-the-art datasets mostly rely on heuristic filtering methods, restricting both their cross-lingual transferability and scalability. Here, we introduce JQL, a systematic approach that efficiently curates diverse and high-quality multilingual data at scale while significantly reducing computational demands. JQL distills LLMs' annotation capabilities into lightweight annotators based on pretrained multilingual embeddings. These models exhibit robust multilingual and cross-lingual performance, even for languages and scripts unseen during training. Evaluated empirically across 35 languages, the resulting annotation pipeline substantially outperforms current heuristic filtering methods like Fineweb2. JQL notably enhances downstream model training quality and increases data retention rates. Our research provides practical insights and valuable resources for multilingual data curation, raising the standards of multilingual dataset development.