Piccolo2: Algemene tekstembedding met multi-task hybride verlies training
Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training
May 11, 2024
Auteurs: Junqin Huang, Zhongjie Hu, Zihao Jing, Mengya Gao, Yichao Wu
cs.AI
Samenvatting
In dit rapport introduceren we Piccolo2, een embeddingmodel dat andere modellen overtreft in de uitgebreide evaluatie over 6 taken op de CMTEB-benchmark, waarmee een nieuwe state-of-the-art wordt gevestigd. Piccolo2 maakt voornamelijk gebruik van een efficiënte multi-task hybride verliesfunctie tijdens de training, waarbij tekstuele gegevens en labels van diverse downstreamtaken effectief worden benut. Daarnaast schaalt Piccolo2 de embeddingdimensie op en gebruikt het MRL-training om flexibelere vectordimensies te ondersteunen. De meest recente informatie over Piccolo-modellen is beschikbaar via: https://huggingface.co/sensenova/
English
In this report, we introduce Piccolo2, an embedding model that surpasses
other models in the comprehensive evaluation over 6 tasks on CMTEB benchmark,
setting a new state-of-the-art. Piccolo2 primarily leverages an efficient
multi-task hybrid loss training approach, effectively harnessing textual data
and labels from diverse downstream tasks. In addition, Piccolo2 scales up the
embedding dimension and uses MRL training to support more flexible vector
dimensions. The latest information of piccolo models can be accessed via:
https://huggingface.co/sensenova/