Оценка качества данных на разных языках: многоязычный подход к фильтрации данных предобучения с использованием языковых моделей

Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models

May 28, 2025

Авторы: Mehdi Ali, Manuel Brack, Max Lübbering, Elias Wendt, Abbas Goher Khan, Richard Rutmann, Alex Jude, Maurice Kraus, Alexander Arno Weber, Felix Stollenwerk, David Kaczér, Florian Mai, Lucie Flek, Rafet Sifa, Nicolas Flores-Herr, Joachim Köhler, Patrick Schramowski, Michael Fromm, Kristian Kersting

cs.AI

Аннотация

Высококачественные многоязычные обучающие данные имеют решающее значение для эффективного предварительного обучения больших языковых моделей (LLM). Однако доступность подходящих открытых многоязычных наборов данных остается ограниченной. Существующие передовые наборы данных в основном полагаются на эвристические методы фильтрации, что ограничивает как их кросс-лингвистическую переносимость, так и масштабируемость. В данной работе мы представляем JQL — систематический подход, который эффективно отбирает разнообразные и высококачественные многоязычные данные в больших масштабах, значительно снижая вычислительные затраты. JQL преобразует возможности аннотирования LLM в легковесные аннотаторы на основе предварительно обученных многоязычных эмбеддингов. Эти модели демонстрируют устойчивую многоязычную и кросс-лингвистическую производительность, даже для языков и письменностей, не встречавшихся во время обучения. Эмпирически оцененный на 35 языках, результирующий конвейер аннотирования значительно превосходит текущие эвристические методы фильтрации, такие как Fineweb2. JQL заметно улучшает качество обучения моделей на последующих этапах и повышает уровень сохранения данных. Наше исследование предоставляет практические рекомендации и ценные ресурсы для курирования многоязычных данных, повышая стандарты разработки многоязычных наборов данных.

English

High-quality multilingual training data is essential for effectively pretraining large language models (LLMs). Yet, the availability of suitable open-source multilingual datasets remains limited. Existing state-of-the-art datasets mostly rely on heuristic filtering methods, restricting both their cross-lingual transferability and scalability. Here, we introduce JQL, a systematic approach that efficiently curates diverse and high-quality multilingual data at scale while significantly reducing computational demands. JQL distills LLMs' annotation capabilities into lightweight annotators based on pretrained multilingual embeddings. These models exhibit robust multilingual and cross-lingual performance, even for languages and scripts unseen during training. Evaluated empirically across 35 languages, the resulting annotation pipeline substantially outperforms current heuristic filtering methods like Fineweb2. JQL notably enhances downstream model training quality and increases data retention rates. Our research provides practical insights and valuable resources for multilingual data curation, raising the standards of multilingual dataset development.