Bewertung der Qualität über Sprachen hinweg: Ein mehrsprachiger Ansatz zur Vorverarbeitungsdatenfilterung mit Sprachmodellen

Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models

May 28, 2025

Autoren: Mehdi Ali, Manuel Brack, Max Lübbering, Elias Wendt, Abbas Goher Khan, Richard Rutmann, Alex Jude, Maurice Kraus, Alexander Arno Weber, Felix Stollenwerk, David Kaczér, Florian Mai, Lucie Flek, Rafet Sifa, Nicolas Flores-Herr, Joachim Köhler, Patrick Schramowski, Michael Fromm, Kristian Kersting

cs.AI

Zusammenfassung

Hochwertige mehrsprachige Trainingsdaten sind entscheidend für die effektive Vorabtrainierung großer Sprachmodelle (LLMs). Dennoch bleibt die Verfügbarkeit geeigneter Open-Source-Mehrsprachdatensätze begrenzt. Bestehende State-of-the-Art-Datensätze stützen sich größtenteils auf heuristische Filtermethoden, was sowohl ihre sprachübergreifende Übertragbarkeit als auch ihre Skalierbarkeit einschränkt. Hier stellen wir JQL vor, einen systematischen Ansatz, der effizient vielfältige und hochwertige mehrsprachige Daten in großem Maßstab kuratiert und gleichzeitig den Rechenaufwand erheblich reduziert. JQL destilliert die Annotationsfähigkeiten von LLMs in leichtgewichtige Annotatoren, die auf vortrainierten mehrsprachigen Einbettungen basieren. Diese Modelle zeigen robuste mehrsprachige und sprachübergreifende Leistung, sogar für Sprachen und Schriftsysteme, die während des Trainings nicht gesehen wurden. Empirisch über 35 Sprachen evaluiert, übertrifft der resultierende Annotationspipeline aktuelle heuristische Filtermethoden wie Fineweb2 deutlich. JQL verbessert insbesondere die Qualität des nachgelagerten Modelltrainings und erhöht die Datenretentionsraten. Unsere Forschung bietet praktische Einblicke und wertvolle Ressourcen für die mehrsprachige Datenkuratierung und hebt die Standards der mehrsprachigen Datensatzentwicklung an.

English

High-quality multilingual training data is essential for effectively pretraining large language models (LLMs). Yet, the availability of suitable open-source multilingual datasets remains limited. Existing state-of-the-art datasets mostly rely on heuristic filtering methods, restricting both their cross-lingual transferability and scalability. Here, we introduce JQL, a systematic approach that efficiently curates diverse and high-quality multilingual data at scale while significantly reducing computational demands. JQL distills LLMs' annotation capabilities into lightweight annotators based on pretrained multilingual embeddings. These models exhibit robust multilingual and cross-lingual performance, even for languages and scripts unseen during training. Evaluated empirically across 35 languages, the resulting annotation pipeline substantially outperforms current heuristic filtering methods like Fineweb2. JQL notably enhances downstream model training quality and increases data retention rates. Our research provides practical insights and valuable resources for multilingual data curation, raising the standards of multilingual dataset development.