Clinical ModernBERT: Um codificador eficiente e de contexto longo para texto biomédico

Clinical ModernBERT: An efficient and long context encoder for biomedical text

April 4, 2025

Autores: Simon A. Lee, Anthony Wu, Jeffrey N. Chiang

cs.AI

Resumo

Apresentamos o Clinical ModernBERT, um codificador baseado em transformers pré-treinado em larga escala com literatura biomédica, notas clínicas e ontologias médicas, incorporando resumos do PubMed, dados clínicos do MIMIC IV e códigos médicos com suas descrições textuais. Construído sobre o ModernBERT, o atual estado da arte em codificação de texto em linguagem natural, que apresenta melhorias arquitetônicas como embeddings posicionais rotativos (RoPE), Flash Attention e extensão do contexto para até 8.192 tokens, nosso modelo adapta essas inovações especificamente para os domínios biomédico e clínico. O Clinical ModernBERT se destaca na produção de representações semanticamente ricas, especialmente projetadas para tarefas de contexto longo. Validamos isso tanto pela análise de seus pesos pré-treinados quanto por avaliação empírica em um conjunto abrangente de benchmarks de NLP clínico.

English

We introduce Clinical ModernBERT, a transformer based encoder pretrained on large scale biomedical literature, clinical notes, and medical ontologies, incorporating PubMed abstracts, MIMIC IV clinical data, and medical codes with their textual descriptions. Building on ModernBERT the current state of the art natural language text encoder featuring architectural upgrades such as rotary positional embeddings (RoPE), Flash Attention, and extended context length up to 8,192 tokens our model adapts these innovations specifically for biomedical and clinical domains. Clinical ModernBERT excels at producing semantically rich representations tailored for long context tasks. We validate this both by analyzing its pretrained weights and through empirical evaluation on a comprehensive suite of clinical NLP benchmarks.