Фантастические (маленькие) ретриверы и как их тренировать: Технический отчет mxbai-edge-colbert-v0
Fantastic (small) Retrievers and How to Train Them: mxbai-edge-colbert-v0 Tech Report
October 16, 2025
Авторы: Rikiya Takehi, Benjamin Clavié, Sean Lee, Aamir Shakir
cs.AI
Аннотация
В данной работе мы представляем модели mxbai-edge-colbert-v0 с двумя различными количествами параметров: 17 млн и 32 млн. В рамках нашего исследования мы провели множество экспериментов, направленных на улучшение моделей поиска и позднего взаимодействия, которые мы планируем дистиллировать в более компактные модели в качестве доказательств концепции. Наша конечная цель — поддержка поиска на всех масштабах: от крупномасштабного поиска, работающего в облаке, до моделей, которые могут выполняться локально на любом устройстве. Модель mxbai-edge-colbert-v0, как мы надеемся, станет надежной базовой основой для всех будущих экспериментов, представляя собой первую версию в длинной серии небольших доказательств концепции. В процессе разработки mxbai-edge-colbert-v0 мы провели несколько абляционных исследований, результаты которых представлены в данной работе. С точки зрения производительности на практических задачах, mxbai-edge-colbert-v0 является особенно эффективной компактной моделью, превосходящей ColBERTv2 на стандартных бенчмарках для коротких текстов (BEIR) и демонстрирующей значительный прогресс в задачах с длинным контекстом, обеспечивая беспрецедентную эффективность.
English
In this work, we introduce mxbai-edge-colbert-v0 models, at two different
parameter counts: 17M and 32M. As part of our research, we conduct numerous
experiments to improve retrieval and late-interaction models, which we intend
to distill into smaller models as proof-of-concepts. Our ultimate aim is to
support retrieval at all scales, from large-scale retrieval which lives in the
cloud to models that can run locally, on any device. mxbai-edge-colbert-v0 is a
model that we hope will serve as a solid foundation backbone for all future
experiments, representing the first version of a long series of small
proof-of-concepts. As part of the development of mxbai-edge-colbert-v0, we
conducted multiple ablation studies, of which we report the results. In terms
of downstream performance, mxbai-edge-colbert-v0 is a particularly capable
small model, outperforming ColBERTv2 on common short-text benchmarks (BEIR) and
representing a large step forward in long-context tasks, with unprecedented
efficiency.