Ein Umweg über die kausale Sprachmodellierung verbessert das fortgesetzte Encoder-Pretraining

A Causal Language Modeling Detour Improves Encoder Continued Pretraining

May 12, 2026

Autoren: Rian Touchent, Eric de la Clergerie

cs.AI

Zusammenfassung

Bei der Anpassung eines Encoders an eine neue Domäne besteht der Standardansatz darin, das Training mit Masked Language Modeling (MLM) fortzusetzen. Wir zeigen, dass ein vorübergehender Wechsel zu Causal Language Modeling (CLM), gefolgt von einer kurzen MLM-Abklingphase, die Leistung bei nachgelagerten Aufgaben verbessert. Auf biomedizinischen Texten mit ModernBERT übertrifft dieser CLM-Umweg MLM-Baselines, die mit identischen Daten und Rechenressourcen trainiert wurden, bei 8 französischen und 11 englischen biomedizinischen Aufgaben je nach Modellgröße um +1,2–2,8 bzw. +0,3–0,8 Prozentpunkte. Wir untersuchen die Gründe für diese Verbesserungen. Wir stellen fest, dass die dichte Überwachung von CLM die unteren Transferschichten (0–7) weitaus stärker beeinflusst als MLM. Das Einfrieren der unteren Schichten während CLM macht den Nutzen für nachgelagerte Aufgaben zunichte; das Einfrieren der mittleren Schichten erhält ihn. Die Repräsentationsänderungen bleiben während der MLM-Abklingphase bestehen, selbst wenn diese genauso lang ist wie die CLM-Phase, und sie skalieren mit der Modellkapazität. Wir veröffentlichen ModernCamemBERT-bio und ModernBERT-bio als modernste biomedizinische Encoder in den Größen Base und Large.

English

When adapting an encoder to a new domain, the standard approach is to continue training with Masked Language Modeling (MLM). We show that temporarily switching to Causal Language Modeling (CLM) followed by a short MLM decay improves downstream performance. On biomedical texts with ModernBERT, this CLM detour outperforms MLM baselines trained on identical data and compute across 8 French and 11 English biomedical tasks, by +1.2-2.8pp and +0.3-0.8pp respectively, depending on model size. We investigate the reasons for these gains. We find that CLM's dense supervision impacts low transformer layers (0-7) far more than MLM does. Freezing low layers during CLM eliminates the downstream benefit; freezing mid layers preserves it. The representational changes persist through the MLM decay phase, even when it matches the CLM phase in length, and they scale with model capacity. We release ModernCamemBERT-bio and ModernBERT-bio as state-of-the-art biomedical encoders in Base and Large sizes.