Slimmer, Beter, Sneller, Langer: Een Moderne Bidirectionele Coder voor Snelle, Geheugenefficiënte en Lange Context Finetuning en Inferentie
Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference
December 18, 2024
Auteurs: Benjamin Warner, Antoine Chaffin, Benjamin Clavié, Orion Weller, Oskar Hallström, Said Taghadouini, Alexis Gallagher, Raja Biswas, Faisal Ladhak, Tom Aarsen, Nathan Cooper, Griffin Adams, Jeremy Howard, Iacopo Poli
cs.AI
Samenvatting
Encoder-only transformermodellen zoals BERT bieden een uitstekende prestatie-grootteverhouding voor ophaal- en classificatietaken ten opzichte van grotere decoder-only modellen. Ondanks dat ze het werkpaard zijn van talrijke productiepijplijnen, zijn er sinds de release van BERT beperkte Pareto-verbeteringen geweest. In dit artikel introduceren we ModernBERT, waarbij moderne modeloptimalisaties worden toegepast op alleen-encodermodellen en die een belangrijke Pareto-verbetering vormen ten opzichte van oudere encoders. Getraind op 2 biljoen tokens met een oorspronkelijke sequentielengte van 8192, vertonen ModernBERT-modellen state-of-the-art resultaten op een groot aantal evaluaties die diverse classificatietaken omvatten, evenals zowel enkelvoudige als multi-vector ophaling in verschillende domeinen (inclusief code). Naast sterke prestaties in downstream, is ModernBERT ook de meest snelheids- en geheugenefficiënte encoder en is ontworpen voor inferentie op gangbare GPU's.
English
Encoder-only transformer models such as BERT offer a great performance-size
tradeoff for retrieval and classification tasks with respect to larger
decoder-only models. Despite being the workhorse of numerous production
pipelines, there have been limited Pareto improvements to BERT since its
release. In this paper, we introduce ModernBERT, bringing modern model
optimizations to encoder-only models and representing a major Pareto
improvement over older encoders. Trained on 2 trillion tokens with a native
8192 sequence length, ModernBERT models exhibit state-of-the-art results on a
large pool of evaluations encompassing diverse classification tasks and both
single and multi-vector retrieval on different domains (including code). In
addition to strong downstream performance, ModernBERT is also the most speed
and memory efficient encoder and is designed for inference on common GPUs.