Fantastici (piccoli) Retriever e Come Addestrarli: Report Tecnico mxbai-edge-colbert-v0

Fantastic (small) Retrievers and How to Train Them: mxbai-edge-colbert-v0 Tech Report

October 16, 2025

Autori: Rikiya Takehi, Benjamin Clavié, Sean Lee, Aamir Shakir

cs.AI

Abstract

In questo lavoro, introduciamo i modelli mxbai-edge-colbert-v0, disponibili in due diverse configurazioni di parametri: 17M e 32M. Come parte della nostra ricerca, conduciamo numerosi esperimenti per migliorare i modelli di retrieval e late-interaction, con l'obiettivo di distillarli in modelli più piccoli come proof-of-concept. Il nostro obiettivo finale è supportare il retrieval a tutte le scale, dal retrieval su larga scala che risiede nel cloud a modelli che possono essere eseguiti localmente, su qualsiasi dispositivo. mxbai-edge-colbert-v0 è un modello che speriamo possa servire come solida base per tutti i futuri esperimenti, rappresentando la prima versione di una lunga serie di piccoli proof-of-concept. Come parte dello sviluppo di mxbai-edge-colbert-v0, abbiamo condotto diversi studi di ablazione, di cui riportiamo i risultati. In termini di prestazioni downstream, mxbai-edge-colbert-v0 è un modello piccolo particolarmente capace, superando ColBERTv2 su benchmark comuni per testi brevi (BEIR) e rappresentando un grande passo avanti nelle attività a contesto lungo, con un'efficienza senza precedenti.

English

In this work, we introduce mxbai-edge-colbert-v0 models, at two different parameter counts: 17M and 32M. As part of our research, we conduct numerous experiments to improve retrieval and late-interaction models, which we intend to distill into smaller models as proof-of-concepts. Our ultimate aim is to support retrieval at all scales, from large-scale retrieval which lives in the cloud to models that can run locally, on any device. mxbai-edge-colbert-v0 is a model that we hope will serve as a solid foundation backbone for all future experiments, representing the first version of a long series of small proof-of-concepts. As part of the development of mxbai-edge-colbert-v0, we conducted multiple ablation studies, of which we report the results. In terms of downstream performance, mxbai-edge-colbert-v0 is a particularly capable small model, outperforming ColBERTv2 on common short-text benchmarks (BEIR) and representing a large step forward in long-context tasks, with unprecedented efficiency.