Intelligenter, besser, schneller, länger: Ein moderner bidirektionaler Encoder für schnelles, speichereffizientes und langzeitiges Feintuning und Inferenz

Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference

December 18, 2024

Autoren: Benjamin Warner, Antoine Chaffin, Benjamin Clavié, Orion Weller, Oskar Hallström, Said Taghadouini, Alexis Gallagher, Raja Biswas, Faisal Ladhak, Tom Aarsen, Nathan Cooper, Griffin Adams, Jeremy Howard, Iacopo Poli

cs.AI

Zusammenfassung

Encoder-only Transformer-Modelle wie BERT bieten ein hervorragendes Verhältnis von Leistung und Größe für Abruf- und Klassifizierungsaufgaben im Vergleich zu größeren Decoder-Modellen. Obwohl sie das Arbeitspferd zahlreicher Produktionspipelines sind, gab es seit seiner Veröffentlichung nur begrenzte Pareto-Verbesserungen für BERT. In diesem Paper stellen wir ModernBERT vor, das moderne Modelloptimierungen für ausschließlich Encoder-Modelle einführt und eine bedeutende Pareto-Verbesserung gegenüber älteren Encodern darstellt. Trainiert mit 2 Billionen Tokens und einer nativen Sequenzlänge von 8192 zeigen ModernBERT-Modelle Spitzenleistungen bei einer Vielzahl von Bewertungen, die verschiedene Klassifizierungsaufgaben sowie Einzel- und Mehrvektor-Abruf in verschiedenen Bereichen (einschließlich Code) umfassen. Neben einer starken Leistung in der Nachbearbeitung ist ModernBERT auch der effizienteste Encoder hinsichtlich Geschwindigkeit und Speichernutzung und wurde für die Inferenz auf gängigen GPUs konzipiert.

English

Encoder-only transformer models such as BERT offer a great performance-size tradeoff for retrieval and classification tasks with respect to larger decoder-only models. Despite being the workhorse of numerous production pipelines, there have been limited Pareto improvements to BERT since its release. In this paper, we introduce ModernBERT, bringing modern model optimizations to encoder-only models and representing a major Pareto improvement over older encoders. Trained on 2 trillion tokens with a native 8192 sequence length, ModernBERT models exhibit state-of-the-art results on a large pool of evaluations encompassing diverse classification tasks and both single and multi-vector retrieval on different domains (including code). In addition to strong downstream performance, ModernBERT is also the most speed and memory efficient encoder and is designed for inference on common GPUs.