大規模言語モデルによるテキスト埋め込みの改善

要旨

本論文では、合成データのみを用いて1,000ステップ未満の学習で高品質なテキスト埋め込みを獲得するための新規かつ簡便な手法を提案する。従来の手法では、数十億の弱教師付きテキストペアを用いた多段階の中間事前学習と、少数のラベル付きデータセットによる微調整が一般的であったが、本手法では、複雑な学習パイプラインの構築や、タスクの多様性や言語カバレッジに制約のある手動収集データセットへの依存を必要としない。我々は、独自の大規模言語モデル（LLM）を活用し、100近い言語にわたる数十万のテキスト埋め込みタスク向けに多様な合成データを生成する。その後、オープンソースのデコーダのみのLLMを標準的なコントラスティブ損失を用いて合成データで微調整する。実験結果から、本手法はラベル付きデータを一切使用せずに、競争力の高いテキスト埋め込みベンチマークで優れた性能を達成することが示された。さらに、合成データとラベル付きデータを混合して微調整を行うことで、BEIRおよびMTEBベンチマークにおいて新たなstate-of-the-artを樹立した。

English

In this paper, we introduce a novel and simple method for obtaining high-quality text embeddings using only synthetic data and less than 1k training steps. Unlike existing methods that often depend on multi-stage intermediate pre-training with billions of weakly-supervised text pairs, followed by fine-tuning with a few labeled datasets, our method does not require building complex training pipelines or relying on manually collected datasets that are often constrained by task diversity and language coverage. We leverage proprietary LLMs to generate diverse synthetic data for hundreds of thousands of text embedding tasks across nearly 100 languages. We then fine-tune open-source decoder-only LLMs on the synthetic data using standard contrastive loss. Experiments demonstrate that our method achieves strong performance on highly competitive text embedding benchmarks without using any labeled data. Furthermore, when fine-tuned with a mixture of synthetic and labeled data, our model sets new state-of-the-art results on the BEIR and MTEB benchmarks.

大規模言語モデルによるテキスト埋め込みの改善

Improving Text Embeddings with Large Language Models

要旨

Support