Um Desvio de Modelagem de Linguagem Causal Melhora o Pré-treinamento Continuado do Codificador

Resumo

Ao adaptar um codificador a um novo domínio, a abordagem padrão é continuar o treinamento com Modelagem de Linguagem Mascarada (MLM). Mostramos que alternar temporariamente para a Modelagem de Linguagem Causal (CLM) seguida por um breve decaimento de MLM melhora o desempenho downstream. Em textos biomédicos com ModernBERT, esse desvio pelo CLM supera as baselines de MLM treinadas com dados e computação idênticos em 8 tarefas biomédicas em francês e 11 em inglês, com ganhos de +1,2–2,8 pp e +0,3–0,8 pp, respectivamente, dependendo do tamanho do modelo. Investigamos as razões para esses ganhos. Constatamos que a supervisão densa do CLM impacta as camadas inferiores do transformer (0–7) muito mais do que a MLM. Congelar as camadas inferiores durante o CLM elimina o benefício downstream; congelar as camadas intermediárias o preserva. As mudanças representacionais persistem durante a fase de decaimento da MLM, mesmo quando esta iguala a fase de CLM em duração, e escalam com a capacidade do modelo. Lançamos o ModernCamemBERT-bio e o ModernBERT-bio como codificadores biomédicos de última geração nos tamanhos Base e Large.

English

When adapting an encoder to a new domain, the standard approach is to continue training with Masked Language Modeling (MLM). We show that temporarily switching to Causal Language Modeling (CLM) followed by a short MLM decay improves downstream performance. On biomedical texts with ModernBERT, this CLM detour outperforms MLM baselines trained on identical data and compute across 8 French and 11 English biomedical tasks, by +1.2-2.8pp and +0.3-0.8pp respectively, depending on model size. We investigate the reasons for these gains. We find that CLM's dense supervision impacts low transformer layers (0-7) far more than MLM does. Freezing low layers during CLM eliminates the downstream benefit; freezing mid layers preserves it. The representational changes persist through the MLM decay phase, even when it matches the CLM phase in length, and they scale with model capacity. We release ModernCamemBERT-bio and ModernBERT-bio as state-of-the-art biomedical encoders in Base and Large sizes.