Умнее, лучше, быстрее, дольше: Современный двунаправленный кодировщик для быстрой, эффективной с точки зрения памяти, длительной настройки и вывода контекста.

Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference

December 18, 2024

Авторы: Benjamin Warner, Antoine Chaffin, Benjamin Clavié, Orion Weller, Oskar Hallström, Said Taghadouini, Alexis Gallagher, Raja Biswas, Faisal Ladhak, Tom Aarsen, Nathan Cooper, Griffin Adams, Jeremy Howard, Iacopo Poli

cs.AI

Аннотация

Модели трансформера только с кодировщиком, такие как BERT, предлагают отличный баланс между производительностью и размером для задач извлечения и классификации по сравнению с более крупными моделями только с декодером. Несмотря на то, что они являются основным инструментом многих производственных конвейеров, у модели BERT были ограниченные улучшения Парето с момента ее выпуска. В данной статье мы представляем ModernBERT, внедряя современные оптимизации модели в модели только с кодировщиком и представляя собой значительное улучшение Парето по сравнению с более старыми кодировщиками. Обученные на 2 триллионах токенов с длиной последовательности 8192, модели ModernBERT демонстрируют результаты на уровне современных достижений на большом количестве оценок, охватывающих разнообразные задачи классификации и как одиночный, так и многовекторный поиск в различных областях (включая код). Помимо высокой производительности на этапе вывода, ModernBERT также является самым быстрым и эффективным по памяти кодировщиком и предназначен для вывода на обычных графических процессорах.

English

Encoder-only transformer models such as BERT offer a great performance-size tradeoff for retrieval and classification tasks with respect to larger decoder-only models. Despite being the workhorse of numerous production pipelines, there have been limited Pareto improvements to BERT since its release. In this paper, we introduce ModernBERT, bringing modern model optimizations to encoder-only models and representing a major Pareto improvement over older encoders. Trained on 2 trillion tokens with a native 8192 sequence length, ModernBERT models exhibit state-of-the-art results on a large pool of evaluations encompassing diverse classification tasks and both single and multi-vector retrieval on different domains (including code). In addition to strong downstream performance, ModernBERT is also the most speed and memory efficient encoder and is designed for inference on common GPUs.