NeoBERT: Un BERT de próxima generación

NeoBERT: A Next-Generation BERT

February 26, 2025

Autores: Lola Le Breton, Quentin Fournier, Mariam El Mezouar, Sarath Chandar

cs.AI

Resumen

Las recientes innovaciones en arquitectura, pre-entrenamiento y ajuste fino han llevado a las notables habilidades de aprendizaje y razonamiento en contexto de grandes modelos de lenguaje auto-regresivos como LLaMA y DeepSeek. En contraste, los codificadores como BERT y RoBERTa no han visto el mismo nivel de progreso a pesar de ser fundamentales para muchas aplicaciones de procesamiento del lenguaje natural (NLP) posteriores. Para cerrar esta brecha, presentamos NeoBERT, un codificador de próxima generación que redefine las capacidades de los modelos bidireccionales mediante la integración de avances de vanguardia en arquitectura, datos modernos y metodologías optimizadas de pre-entrenamiento. NeoBERT está diseñado para una adopción sin problemas: sirve como un reemplazo plug-and-play para los modelos base existentes, se basa en una relación óptima de profundidad a anchura y aprovecha una longitud de contexto extendida de 4,096 tokens. A pesar de su compacto tamaño de 250M parámetros, logra resultados de vanguardia en el extenso benchmark MTEB, superando a BERT large, RoBERTa large, NomicBERT y ModernBERT bajo condiciones idénticas de ajuste fino. Además, evaluamos rigurosamente el impacto de cada modificación en GLUE y diseñamos un marco uniforme de ajuste fino y evaluación para MTEB. Publicamos todo el código, datos, puntos de control y scripts de entrenamiento para acelerar la investigación y la adopción en el mundo real.

English

Recent innovations in architecture, pre-training, and fine-tuning have led to the remarkable in-context learning and reasoning abilities of large auto-regressive language models such as LLaMA and DeepSeek. In contrast, encoders like BERT and RoBERTa have not seen the same level of progress despite being foundational for many downstream NLP applications. To bridge this gap, we introduce NeoBERT, a next-generation encoder that redefines the capabilities of bidirectional models by integrating state-of-the-art advancements in architecture, modern data, and optimized pre-training methodologies. NeoBERT is designed for seamless adoption: it serves as a plug-and-play replacement for existing base models, relies on an optimal depth-to-width ratio, and leverages an extended context length of 4,096 tokens. Despite its compact 250M parameter footprint, it achieves state-of-the-art results on the massive MTEB benchmark, outperforming BERT large, RoBERTa large, NomicBERT, and ModernBERT under identical fine-tuning conditions. In addition, we rigorously evaluate the impact of each modification on GLUE and design a uniform fine-tuning and evaluation framework for MTEB. We release all code, data, checkpoints, and training scripts to accelerate research and real-world adoption.