Clinical ModernBERT: эффективный и длинноконтекстный энкодер для биомедицинских текстов
Clinical ModernBERT: An efficient and long context encoder for biomedical text
April 4, 2025
Авторы: Simon A. Lee, Anthony Wu, Jeffrey N. Chiang
cs.AI
Аннотация
Мы представляем Clinical ModernBERT — трансформерный энкодер, предварительно обученный на обширной биомедицинской литературе, клинических записях и медицинских онтологиях, включая аннотации PubMed, клинические данные MIMIC IV и медицинские коды с их текстовыми описаниями. Основываясь на ModernBERT — современном энкодере текста, который включает архитектурные улучшения, такие как ротационные позиционные эмбеддинги (RoPE), Flash Attention и увеличенную длину контекста до 8 192 токенов, — наша модель адаптирует эти инновации специально для биомедицинских и клинических областей. Clinical ModernBERT превосходно справляется с созданием семантически насыщенных представлений, оптимизированных для задач с длинным контекстом. Мы подтверждаем это как анализом его предварительно обученных весов, так и эмпирической оценкой на комплексном наборе клинических NLP-бенчмарков.
English
We introduce Clinical ModernBERT, a transformer based encoder pretrained on
large scale biomedical literature, clinical notes, and medical ontologies,
incorporating PubMed abstracts, MIMIC IV clinical data, and medical codes with
their textual descriptions. Building on ModernBERT the current state of the art
natural language text encoder featuring architectural upgrades such as rotary
positional embeddings (RoPE), Flash Attention, and extended context length up
to 8,192 tokens our model adapts these innovations specifically for biomedical
and clinical domains. Clinical ModernBERT excels at producing semantically rich
representations tailored for long context tasks. We validate this both by
analyzing its pretrained weights and through empirical evaluation on a
comprehensive suite of clinical NLP benchmarks.