Gaperon: Набор генеративных языковых моделей с английским и французским языками

Аннотация

Мы представляем Gaperon — полностью открытый набор французско-английских языковых моделей, созданный для повышения прозрачности и воспроизводимости при обучении крупномасштабных моделей. Семейство Gaperon включает модели с 1.5 млрд, 8 млрд и 24 млрд параметров, обученные на 2–4 триллионах токенов, и выпускается со всеми элементами тренировочного пайплайна: отфильтрованными с помощью нейросетевого классификатора качества французскими и английскими наборами данных, эффективной системой курирования данных и обучения, а также сотнями промежуточных контрольных точек. В данной работе мы исследуем, как фильтрация данных и их загрязнение взаимодействуют, влияя как на результаты бенчмарков, так и на генеративные способности. Мы обнаружили, что фильтрация по лингвистическому качеству улучшает беглость и связность текста, но приводит к посредственным результатам в бенчмарках, тогда как позднее намеренное загрязнение — продолжение обучения на смесях данных, включающих тестовые наборы, — восстанавливает конкурентоспособные показатели, лишь умеренно ухудшая качество генерации. Мы обсуждаем, как стандартная нейросетевая фильтрация может непреднамеренно усиливать утечку данных из бенчмарков. Для поддержки дальнейших исследований мы также внедряем безвредное отравление данных на этапе предобучения, создавая реалистичный полигон для исследований безопасности. Открыто публикуя все модели, наборы данных, код и контрольные точки, Gaperon закладывает воспроизводимую основу для изучения компромиссов между курированием данных, оценкой, безопасностью и открытостью при разработке многоязыковых языковых моделей.

English

We release Gaperon, a fully open suite of French-English-coding language models designed to advance transparency and reproducibility in large-scale model training. The Gaperon family includes 1.5B, 8B, and 24B parameter models trained on 2-4 trillion tokens, released with all elements of the training pipeline: French and English datasets filtered with a neural quality classifier, an efficient data curation and training framework, and hundreds of intermediate checkpoints. Through this work, we study how data filtering and contamination interact to shape both benchmark and generative performance. We find that filtering for linguistic quality enhances text fluency and coherence but yields subpar benchmark results, and that late deliberate contamination -- continuing training on data mixes that include test sets -- recovers competitive scores while only reasonably harming generation quality. We discuss how usual neural filtering can unintentionally amplify benchmark leakage. To support further research, we also introduce harmless data poisoning during pretraining, providing a realistic testbed for safety studies. By openly releasing all models, datasets, code, and checkpoints, Gaperon establishes a reproducible foundation for exploring the trade-offs between data curation, evaluation, safety, and openness in multilingual language model development.

Gaperon: Набор генеративных языковых моделей с английским и французским языками

Gaperon: A Peppered English-French Generative Language Model Suite

Аннотация

Support