NeoBERT: Um BERT de Próxima Geração

NeoBERT: A Next-Generation BERT

February 26, 2025

Autores: Lola Le Breton, Quentin Fournier, Mariam El Mezouar, Sarath Chandar

cs.AI

Resumo

As recentes inovações em arquitetura, pré-treinamento e ajuste fino têm levado às notáveis habilidades de aprendizado e raciocínio em contexto de grandes modelos de linguagem autorregressivos como LLaMA e DeepSeek. Em contraste, codificadores como BERT e RoBERTa não têm visto o mesmo nível de progresso, apesar de serem fundamentais para muitas aplicações downstream de PNL. Para preencher essa lacuna, apresentamos o NeoBERT, um codificador de próxima geração que redefine as capacidades de modelos bidirecionais integrando avanços de ponta em arquitetura, dados modernos e metodologias otimizadas de pré-treinamento. O NeoBERT é projetado para adoção fácil: ele serve como uma substituição plug-and-play para modelos base existentes, depende de uma proporção ótima de profundidade para largura e aproveita um comprimento de contexto estendido de 4.096 tokens. Apesar de sua pegada compacta de 250M parâmetros, ele alcança resultados de ponta no amplo benchmark MTEB, superando BERT large, RoBERTa large, NomicBERT e ModernBERT sob condições idênticas de ajuste fino. Além disso, avaliamos rigorosamente o impacto de cada modificação no GLUE e projetamos um framework uniforme de ajuste fino e avaliação para o MTEB. Disponibilizamos todo o código, dados, checkpoints e scripts de treinamento para acelerar a pesquisa e a adoção no mundo real.

English

Recent innovations in architecture, pre-training, and fine-tuning have led to the remarkable in-context learning and reasoning abilities of large auto-regressive language models such as LLaMA and DeepSeek. In contrast, encoders like BERT and RoBERTa have not seen the same level of progress despite being foundational for many downstream NLP applications. To bridge this gap, we introduce NeoBERT, a next-generation encoder that redefines the capabilities of bidirectional models by integrating state-of-the-art advancements in architecture, modern data, and optimized pre-training methodologies. NeoBERT is designed for seamless adoption: it serves as a plug-and-play replacement for existing base models, relies on an optimal depth-to-width ratio, and leverages an extended context length of 4,096 tokens. Despite its compact 250M parameter footprint, it achieves state-of-the-art results on the massive MTEB benchmark, outperforming BERT large, RoBERTa large, NomicBERT, and ModernBERT under identical fine-tuning conditions. In addition, we rigorously evaluate the impact of each modification on GLUE and design a uniform fine-tuning and evaluation framework for MTEB. We release all code, data, checkpoints, and training scripts to accelerate research and real-world adoption.