NeoBERT: 차세대 BERT

NeoBERT: A Next-Generation BERT

February 26, 2025

저자: Lola Le Breton, Quentin Fournier, Mariam El Mezouar, Sarath Chandar

cs.AI

초록

최근 아키텍처, 사전 학습, 미세 조정 분야의 혁신으로 LLaMA와 DeepSeek과 같은 대규모 자기회귀 언어 모델의 놀라운 문맥 학습 및 추론 능력이 주목받고 있습니다. 반면, BERT와 RoBERTa와 같은 인코더 모델들은 많은 다운스트림 NLP 애플리케이션의 기초가 되었음에도 불구하고 동일한 수준의 발전을 이루지 못했습니다. 이러한 격차를 해소하기 위해, 우리는 NeoBERT를 소개합니다. NeoBERT는 최신 아키텍처 발전, 현대적인 데이터, 그리고 최적화된 사전 학습 방법론을 통합하여 양방향 모델의 능력을 재정의한 차세대 인코더입니다. NeoBERT는 원활한 도입을 위해 설계되었습니다: 기존 베이스 모델을 플러그 앤 플레이 방식으로 대체할 수 있으며, 최적의 깊이-너비 비율을 유지하고, 4,096 토큰의 확장된 문맥 길이를 활용합니다. 250M 파라미터라는 컴팩트한 크기임에도 불구하고, NeoBERT는 대규모 MTEB 벤치마크에서 최첨단 성능을 달성하며, 동일한 미세 조정 조건 하에서 BERT large, RoBERTa large, NomicBERT, ModernBERT를 능가합니다. 또한, 우리는 GLUE에서 각 수정 사항의 영향을 엄격히 평가하고, MTEB를 위한 통일된 미세 조정 및 평가 프레임워크를 설계했습니다. 연구와 실제 도입을 가속화하기 위해 모든 코드, 데이터, 체크포인트, 그리고 학습 스크립트를 공개합니다.

English

Recent innovations in architecture, pre-training, and fine-tuning have led to the remarkable in-context learning and reasoning abilities of large auto-regressive language models such as LLaMA and DeepSeek. In contrast, encoders like BERT and RoBERTa have not seen the same level of progress despite being foundational for many downstream NLP applications. To bridge this gap, we introduce NeoBERT, a next-generation encoder that redefines the capabilities of bidirectional models by integrating state-of-the-art advancements in architecture, modern data, and optimized pre-training methodologies. NeoBERT is designed for seamless adoption: it serves as a plug-and-play replacement for existing base models, relies on an optimal depth-to-width ratio, and leverages an extended context length of 4,096 tokens. Despite its compact 250M parameter footprint, it achieves state-of-the-art results on the massive MTEB benchmark, outperforming BERT large, RoBERTa large, NomicBERT, and ModernBERT under identical fine-tuning conditions. In addition, we rigorously evaluate the impact of each modification on GLUE and design a uniform fine-tuning and evaluation framework for MTEB. We release all code, data, checkpoints, and training scripts to accelerate research and real-world adoption.