Piccolo2: マルチタスクハイブリッド損失トレーニングによる汎用テキスト埋め込み

Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training

May 11, 2024

著者: Junqin Huang, Zhongjie Hu, Zihao Jing, Mengya Gao, Yichao Wu

cs.AI

要旨

本レポートでは、CMTEBベンチマークにおける6つのタスクを包括的に評価し、新たな最先端を達成した埋め込みモデルPiccolo2を紹介します。Piccolo2は主に、効率的なマルチタスクハイブリッド損失トレーニング手法を活用し、多様な下流タスクからのテキストデータとラベルを効果的に利用しています。さらに、Piccolo2は埋め込み次元を拡大し、MRLトレーニングを使用してより柔軟なベクトル次元をサポートします。Piccoloモデルの最新情報は、https://huggingface.co/sensenova/ からアクセスできます。

English

In this report, we introduce Piccolo2, an embedding model that surpasses other models in the comprehensive evaluation over 6 tasks on CMTEB benchmark, setting a new state-of-the-art. Piccolo2 primarily leverages an efficient multi-task hybrid loss training approach, effectively harnessing textual data and labels from diverse downstream tasks. In addition, Piccolo2 scales up the embedding dimension and uses MRL training to support more flexible vector dimensions. The latest information of piccolo models can be accessed via: https://huggingface.co/sensenova/