Piccolo2: Allgemeine Texteinbettung mit Training von Multi-Task-Hybridverlusten.

Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training

May 11, 2024

Autoren: Junqin Huang, Zhongjie Hu, Zihao Jing, Mengya Gao, Yichao Wu

cs.AI

Zusammenfassung

In diesem Bericht stellen wir Piccolo2 vor, ein Einbettungsmodell, das bei der umfassenden Bewertung über 6 Aufgaben im CMTEB-Benchmark andere Modelle übertrifft und einen neuen Stand der Technik setzt. Piccolo2 nutzt hauptsächlich einen effizienten Multi-Task-Hybridverlust-Trainingsansatz, der Textdaten und Labels aus verschiedenen nachgelagerten Aufgaben effektiv nutzt. Darüber hinaus skaliert Piccolo2 die Einbettungsdimension hoch und verwendet MRL-Training, um flexiblere Vektordimensionen zu unterstützen. Die neuesten Informationen zu den Piccolo-Modellen finden Sie unter: https://huggingface.co/sensenova/

English

In this report, we introduce Piccolo2, an embedding model that surpasses other models in the comprehensive evaluation over 6 tasks on CMTEB benchmark, setting a new state-of-the-art. Piccolo2 primarily leverages an efficient multi-task hybrid loss training approach, effectively harnessing textual data and labels from diverse downstream tasks. In addition, Piccolo2 scales up the embedding dimension and uses MRL training to support more flexible vector dimensions. The latest information of piccolo models can be accessed via: https://huggingface.co/sensenova/