Обход через каузальное языковое моделирование улучшает продолженное предобучение энкодера
A Causal Language Modeling Detour Improves Encoder Continued Pretraining
May 12, 2026
Авторы: Rian Touchent, Eric de la Clergerie
cs.AI
Аннотация
При адаптации энкодера к новой предметной области стандартным подходом является продолжение обучения с помощью маскированного языкового моделирования (MLM). Мы показываем, что временный переход к каузальному языковому моделированию (CLM) с последующим коротким этапом затухания MLM улучшает производительность на последующих задачах. На биомедицинских текстах с ModernBERT этот обходной путь через CLM превосходит базовые модели MLM, обученные на идентичных данных и с одинаковыми вычислительными затратами, на 8 французских и 11 английских биомедицинских задачах: на +1,2–2,8 процентных пункта и +0,3–0,8 процентных пункта соответственно, в зависимости от размера модели. Мы исследуем причины этих улучшений. Мы обнаруживаем, что плотное обучение CLM влияет на нижние слои трансформера (0–7) значительно сильнее, чем MLM. Заморозка нижних слоёв во время CLM устраняет выигрыш на последующих задачах; заморозка средних слоёв его сохраняет. Изменения представлений сохраняются на этапе затухания MLM, даже если он по длительности равен этапу CLM, и масштабируются с ёмкостью модели. Мы выпускаем ModernCamemBERT-bio и ModernBERT-bio как современные биомедицинские энкодеры в размерах Base и Large.
English
When adapting an encoder to a new domain, the standard approach is to continue training with Masked Language Modeling (MLM). We show that temporarily switching to Causal Language Modeling (CLM) followed by a short MLM decay improves downstream performance. On biomedical texts with ModernBERT, this CLM detour outperforms MLM baselines trained on identical data and compute across 8 French and 11 English biomedical tasks, by +1.2-2.8pp and +0.3-0.8pp respectively, depending on model size. We investigate the reasons for these gains. We find that CLM's dense supervision impacts low transformer layers (0-7) far more than MLM does. Freezing low layers during CLM eliminates the downstream benefit; freezing mid layers preserves it. The representational changes persist through the MLM decay phase, even when it matches the CLM phase in length, and they scale with model capacity. We release ModernCamemBERT-bio and ModernBERT-bio as state-of-the-art biomedical encoders in Base and Large sizes.