Un détour par la modélisation du langage causal améliore le pré-entraînement continu de l'encodeur
A Causal Language Modeling Detour Improves Encoder Continued Pretraining
May 12, 2026
Auteurs: Rian Touchent, Eric de la Clergerie
cs.AI
Résumé
Lors de l'adaptation d'un encodeur à un nouveau domaine, l'approche standard consiste à poursuivre l'entraînement avec le masquage linguistique (Masked Language Modeling, MLM). Nous montrons qu'un passage temporaire à la modélisation causale du langage (Causal Language Modeling, CLM) suivi d'un court déclin du MLM améliore les performances en aval. Sur des textes biomédicaux avec ModernBERT, ce détour par le CLM surpasse les bases de référence MLM entraînées sur des données et un calcul identiques pour 8 tâches biomédicales en français et 11 en anglais, respectivement de +1,2 à 2,8 points de pourcentage et de +0,3 à 0,8 point de pourcentage, selon la taille du modèle. Nous étudions les raisons de ces gains. Nous constatons que la supervision dense du CLM impacte les couches inférieures du transformeur (0-7) bien davantage que le MLM. Le gel des couches inférieures pendant le CLM élimine le bénéfice en aval ; le gel des couches intermédiaires le préserve. Les changements représentationnels persistent tout au long de la phase de déclin du MLM, même lorsqu'elle égale la phase CLM en longueur, et ils évoluent avec la capacité du modèle. Nous publions ModernCamemBERT-bio et ModernBERT-bio comme encodeurs biomédicaux de pointe en tailles Base et Large.
English
When adapting an encoder to a new domain, the standard approach is to continue training with Masked Language Modeling (MLM). We show that temporarily switching to Causal Language Modeling (CLM) followed by a short MLM decay improves downstream performance. On biomedical texts with ModernBERT, this CLM detour outperforms MLM baselines trained on identical data and compute across 8 French and 11 English biomedical tasks, by +1.2-2.8pp and +0.3-0.8pp respectively, depending on model size. We investigate the reasons for these gains. We find that CLM's dense supervision impacts low transformer layers (0-7) far more than MLM does. Freezing low layers during CLM eliminates the downstream benefit; freezing mid layers preserves it. The representational changes persist through the MLM decay phase, even when it matches the CLM phase in length, and they scale with model capacity. We release ModernCamemBERT-bio and ModernBERT-bio as state-of-the-art biomedical encoders in Base and Large sizes.