Clinical ModernBERT: Een efficiënte en lang-context encoder voor biomedische tekst

Clinical ModernBERT: An efficient and long context encoder for biomedical text

April 4, 2025

Auteurs: Simon A. Lee, Anthony Wu, Jeffrey N. Chiang

cs.AI

Samenvatting

We introduceren Clinical ModernBERT, een transformer-gebaseerde encoder die vooraf is getraind op grootschalige biomedische literatuur, klinische notities en medische ontologieën, waarbij PubMed-samenvattingen, MIMIC IV-klinische gegevens en medische codes met hun tekstuele beschrijvingen zijn geïntegreerd. Gebaseerd op ModernBERT, de huidige state-of-the-art natuurlijke taaltekstencoder met architectonische verbeteringen zoals roterende positionele embeddings (RoPE), Flash Attention en een uitgebreide contextlengte tot 8.192 tokens, past ons model deze innovaties specifiek toe op biomedische en klinische domeinen. Clinical ModernBERT blinkt uit in het produceren van semantisch rijke representaties die zijn afgestemd op taken met lange contexten. We valideren dit zowel door de vooraf getrainde gewichten te analyseren als door empirische evaluatie op een uitgebreide reeks klinische NLP-benchmarks.

English

We introduce Clinical ModernBERT, a transformer based encoder pretrained on large scale biomedical literature, clinical notes, and medical ontologies, incorporating PubMed abstracts, MIMIC IV clinical data, and medical codes with their textual descriptions. Building on ModernBERT the current state of the art natural language text encoder featuring architectural upgrades such as rotary positional embeddings (RoPE), Flash Attention, and extended context length up to 8,192 tokens our model adapts these innovations specifically for biomedical and clinical domains. Clinical ModernBERT excels at producing semantically rich representations tailored for long context tasks. We validate this both by analyzing its pretrained weights and through empirical evaluation on a comprehensive suite of clinical NLP benchmarks.