Más Inteligente, Mejor, Más Rápido, Más Largo: Un Codificador Bidireccional Moderno para un Ajuste Fino y una Inferencia Rápidos, Eficientes en Memoria y con Contextos Extensos

Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference

December 18, 2024

Autores: Benjamin Warner, Antoine Chaffin, Benjamin Clavié, Orion Weller, Oskar Hallström, Said Taghadouini, Alexis Gallagher, Raja Biswas, Faisal Ladhak, Tom Aarsen, Nathan Cooper, Griffin Adams, Jeremy Howard, Iacopo Poli

cs.AI

Resumen

Los modelos de transformadores solo codificador como BERT ofrecen un excelente equilibrio entre rendimiento y tamaño para tareas de recuperación y clasificación en comparación con modelos solo decodificador más grandes. A pesar de ser el caballo de batalla de numerosos flujos de producción, ha habido mejoras de Pareto limitadas en BERT desde su lanzamiento. En este artículo, presentamos ModernBERT, que incorpora optimizaciones de modelos modernos a modelos solo codificador y representa una mejora de Pareto importante sobre codificadores más antiguos. Entrenados con 2 billones de tokens con una longitud de secuencia nativa de 8192, los modelos de ModernBERT muestran resultados de vanguardia en una amplia gama de evaluaciones que abarcan diversas tareas de clasificación y recuperación de vectores únicos y múltiples en diferentes dominios (incluido el código). Además de un sólido rendimiento en tareas posteriores, ModernBERT es también el codificador más eficiente en velocidad y memoria, y está diseñado para inferencias en GPU comunes.

English

Encoder-only transformer models such as BERT offer a great performance-size tradeoff for retrieval and classification tasks with respect to larger decoder-only models. Despite being the workhorse of numerous production pipelines, there have been limited Pareto improvements to BERT since its release. In this paper, we introduce ModernBERT, bringing modern model optimizations to encoder-only models and representing a major Pareto improvement over older encoders. Trained on 2 trillion tokens with a native 8192 sequence length, ModernBERT models exhibit state-of-the-art results on a large pool of evaluations encompassing diverse classification tasks and both single and multi-vector retrieval on different domains (including code). In addition to strong downstream performance, ModernBERT is also the most speed and memory efficient encoder and is designed for inference on common GPUs.