Piccolo2 : Encodage de texte généralisé par entraînement avec fonction de perte hybride multi-tâches

Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training

May 11, 2024

Auteurs: Junqin Huang, Zhongjie Hu, Zihao Jing, Mengya Gao, Yichao Wu

cs.AI

Résumé

Dans ce rapport, nous présentons Piccolo2, un modèle d'embedding qui surpasse les autres modèles dans l'évaluation complète de 6 tâches sur le benchmark CMTEB, établissant ainsi un nouvel état de l'art. Piccolo2 exploite principalement une approche de formation hybride multi-tâches efficace, tirant parti des données textuelles et des étiquettes provenant de diverses tâches en aval. De plus, Piccolo2 augmente la dimension de l'embedding et utilise la formation MRL pour prendre en charge des dimensions de vecteurs plus flexibles. Les informations les plus récentes sur les modèles Piccolo peuvent être consultées via : https://huggingface.co/sensenova/

English

In this report, we introduce Piccolo2, an embedding model that surpasses other models in the comprehensive evaluation over 6 tasks on CMTEB benchmark, setting a new state-of-the-art. Piccolo2 primarily leverages an efficient multi-task hybrid loss training approach, effectively harnessing textual data and labels from diverse downstream tasks. In addition, Piccolo2 scales up the embedding dimension and uses MRL training to support more flexible vector dimensions. The latest information of piccolo models can be accessed via: https://huggingface.co/sensenova/