Een omweg via causale taalmodellering verbetert de voortgezette pretraining van encoders

Samenvatting

Bij het aanpassen van een encoder aan een nieuw domein is de gangbare aanpak om de training voort te zetten met gemaskeerde taalmodellering (MLM). We tonen aan dat een tijdelijke overschakeling naar causale taalmodellering (CLM), gevolgd door een korte MLM-afname, de stroomafwaartse prestaties verbetert. Op biomedische teksten met ModernBERT overtreft deze CLM-omweg de MLM-basislijnen die zijn getraind op identieke data en rekenkracht, over 8 Franse en 11 Engelse biomedische taken met respectievelijk +1,2–2,8 procentpunt en +0,3–0,8 procentpunt, afhankelijk van de modelgrootte. We onderzoeken de redenen voor deze verbeteringen. We vinden dat CLM’s dichte supervisie veel meer invloed heeft op lage transformatorlagen (0–7) dan MLM. Het bevriezen van lage lagen tijdens CLM elimineert het stroomafwaartse voordeel; het bevriezen van middenlagen behoudt het. De representatieveranderingen blijven aanwezig tijdens de MLM-afnamefase, zelfs wanneer deze even lang is als de CLM-fase, en ze schalen met de modelcapaciteit. We brengen ModernCamemBERT-bio en ModernBERT-bio uit als state-of-the-art biomedische encoders in Base- en Large-formaten.

English

When adapting an encoder to a new domain, the standard approach is to continue training with Masked Language Modeling (MLM). We show that temporarily switching to Causal Language Modeling (CLM) followed by a short MLM decay improves downstream performance. On biomedical texts with ModernBERT, this CLM detour outperforms MLM baselines trained on identical data and compute across 8 French and 11 English biomedical tasks, by +1.2-2.8pp and +0.3-0.8pp respectively, depending on model size. We investigate the reasons for these gains. We find that CLM's dense supervision impacts low transformer layers (0-7) far more than MLM does. Freezing low layers during CLM eliminates the downstream benefit; freezing mid layers preserves it. The representational changes persist through the MLM decay phase, even when it matches the CLM phase in length, and they scale with model capacity. We release ModernCamemBERT-bio and ModernBERT-bio as state-of-the-art biomedical encoders in Base and Large sizes.