Plus intelligent, meilleur, plus rapide, plus long : un encodeur bidirectionnel moderne pour un ajustement fin et une inférence rapides, efficaces en mémoire et prenant en compte de longs contextes.
Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference
December 18, 2024
Auteurs: Benjamin Warner, Antoine Chaffin, Benjamin Clavié, Orion Weller, Oskar Hallström, Said Taghadouini, Alexis Gallagher, Raja Biswas, Faisal Ladhak, Tom Aarsen, Nathan Cooper, Griffin Adams, Jeremy Howard, Iacopo Poli
cs.AI
Résumé
Les modèles de transformer à encodeur seul tels que BERT offrent un excellent compromis performance-taille pour les tâches de recherche et de classification par rapport aux modèles de décodeur seul plus grands. Malgré le fait d'être le cheval de bataille de nombreux pipelines de production, il y a eu peu d'améliorations de Pareto apportées à BERT depuis sa sortie. Dans cet article, nous introduisons ModernBERT, apportant des optimisations de modèle modernes aux modèles à encodeur seul et représentant une amélioration de Pareto majeure par rapport aux anciens encodeurs. Entraînés sur 2 billions de jetons avec une longueur de séquence native de 8192, les modèles ModernBERT présentent des résultats de pointe sur un large éventail d'évaluations couvrant diverses tâches de classification et de recherche à la fois sur un seul vecteur et sur plusieurs vecteurs dans différents domaines (y compris le code). En plus de performances solides en aval, ModernBERT est également l'encodeur le plus rapide et le plus efficace en termes de mémoire, conçu pour l'inférence sur des GPU courants.
English
Encoder-only transformer models such as BERT offer a great performance-size
tradeoff for retrieval and classification tasks with respect to larger
decoder-only models. Despite being the workhorse of numerous production
pipelines, there have been limited Pareto improvements to BERT since its
release. In this paper, we introduce ModernBERT, bringing modern model
optimizations to encoder-only models and representing a major Pareto
improvement over older encoders. Trained on 2 trillion tokens with a native
8192 sequence length, ModernBERT models exhibit state-of-the-art results on a
large pool of evaluations encompassing diverse classification tasks and both
single and multi-vector retrieval on different domains (including code). In
addition to strong downstream performance, ModernBERT is also the most speed
and memory efficient encoder and is designed for inference on common GPUs.