Fantásticos (pequenos) Recuperadores e Como Treiná-los: Relatório Técnico mxbai-edge-colbert-v0

Fantastic (small) Retrievers and How to Train Them: mxbai-edge-colbert-v0 Tech Report

October 16, 2025

Autores: Rikiya Takehi, Benjamin Clavié, Sean Lee, Aamir Shakir

cs.AI

Resumo

Neste trabalho, apresentamos os modelos mxbai-edge-colbert-v0, com duas contagens de parâmetros diferentes: 17M e 32M. Como parte de nossa pesquisa, conduzimos diversos experimentos para aprimorar modelos de recuperação e interação tardia, que pretendemos destilar em modelos menores como provas de conceito. Nosso objetivo final é suportar a recuperação em todas as escalas, desde a recuperação em larga escala que reside na nuvem até modelos que podem ser executados localmente, em qualquer dispositivo. O mxbai-edge-colbert-v0 é um modelo que esperamos que sirva como uma base sólida para todos os experimentos futuros, representando a primeira versão de uma longa série de pequenas provas de conceito. Como parte do desenvolvimento do mxbai-edge-colbert-v0, realizamos múltiplos estudos de ablação, cujos resultados relatamos. Em termos de desempenho em tarefas subsequentes, o mxbai-edge-colbert-v0 é um modelo pequeno particularmente capaz, superando o ColBERTv2 em benchmarks comuns de textos curtos (BEIR) e representando um grande avanço em tarefas de contexto longo, com eficiência sem precedentes.

English

In this work, we introduce mxbai-edge-colbert-v0 models, at two different parameter counts: 17M and 32M. As part of our research, we conduct numerous experiments to improve retrieval and late-interaction models, which we intend to distill into smaller models as proof-of-concepts. Our ultimate aim is to support retrieval at all scales, from large-scale retrieval which lives in the cloud to models that can run locally, on any device. mxbai-edge-colbert-v0 is a model that we hope will serve as a solid foundation backbone for all future experiments, representing the first version of a long series of small proof-of-concepts. As part of the development of mxbai-edge-colbert-v0, we conducted multiple ablation studies, of which we report the results. In terms of downstream performance, mxbai-edge-colbert-v0 is a particularly capable small model, outperforming ColBERTv2 on common short-text benchmarks (BEIR) and representing a large step forward in long-context tasks, with unprecedented efficiency.