환상적인 (소형) 리트리버와 그 훈련 방법: mxbai-edge-colbert-v0 기술 보고서

초록

본 연구에서는 두 가지 다른 파라미터 수(17M과 32M)를 가진 mxbai-edge-colbert-v0 모델을 소개한다. 우리는 검색 및 후기 상호작용 모델을 개선하기 위해 다양한 실험을 수행하였으며, 이를 개념 증명을 위한 더 작은 모델로 정제하는 것을 목표로 한다. 우리의 궁극적인 목표는 클라우드에서 운영되는 대규모 검색부터 모든 기기에서 로컬로 실행 가능한 모델에 이르기까지 모든 규모에서의 검색을 지원하는 것이다. mxbai-edge-colbert-v0는 향후 모든 실험을 위한 견고한 기반이 될 것으로 기대되는 모델로, 일련의 소규모 개념 증명의 첫 번째 버전을 대표한다. mxbai-edge-colbert-v0 개발 과정에서 우리는 여러 가지 제거 연구를 수행하였으며, 그 결과를 보고한다. 다운스트림 성능 측면에서 mxbai-edge-colbert-v0는 특히 우수한 소형 모델로, 일반적인 짧은 텍스트 벤치마크(BEIR)에서 ColBERTv2를 능가하며, 장문 맥락 작업에서 전례 없는 효율성으로 큰 진전을 이루었다.

English

In this work, we introduce mxbai-edge-colbert-v0 models, at two different parameter counts: 17M and 32M. As part of our research, we conduct numerous experiments to improve retrieval and late-interaction models, which we intend to distill into smaller models as proof-of-concepts. Our ultimate aim is to support retrieval at all scales, from large-scale retrieval which lives in the cloud to models that can run locally, on any device. mxbai-edge-colbert-v0 is a model that we hope will serve as a solid foundation backbone for all future experiments, representing the first version of a long series of small proof-of-concepts. As part of the development of mxbai-edge-colbert-v0, we conducted multiple ablation studies, of which we report the results. In terms of downstream performance, mxbai-edge-colbert-v0 is a particularly capable small model, outperforming ColBERTv2 on common short-text benchmarks (BEIR) and representing a large step forward in long-context tasks, with unprecedented efficiency.

환상적인 (소형) 리트리버와 그 훈련 방법: mxbai-edge-colbert-v0 기술 보고서

Fantastic (small) Retrievers and How to Train Them: mxbai-edge-colbert-v0 Tech Report

초록

Support