Piccolo2: Embedding di Testo Generale con Addestramento a Perdita Ibrida Multi-task
Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training
May 11, 2024
Autori: Junqin Huang, Zhongjie Hu, Zihao Jing, Mengya Gao, Yichao Wu
cs.AI
Abstract
In questo rapporto presentiamo Piccolo2, un modello di embedding che supera
altri modelli nella valutazione complessiva su 6 task del benchmark CMTEB,
stabilendo un nuovo stato dell'arte. Piccolo2 sfrutta principalmente un
approccio di addestramento efficiente con perdita ibrida multi-task, utilizzando
in modo efficace dati testuali ed etichette provenienti da diversi task
downstream. Inoltre, Piccolo2 aumenta la dimensione dell'embedding e utilizza
l'addestramento MRL per supportare dimensioni vettoriali più flessibili. Le
informazioni più aggiornate sui modelli Piccolo sono accessibili all'indirizzo:
https://huggingface.co/sensenova/
English
In this report, we introduce Piccolo2, an embedding model that surpasses
other models in the comprehensive evaluation over 6 tasks on CMTEB benchmark,
setting a new state-of-the-art. Piccolo2 primarily leverages an efficient
multi-task hybrid loss training approach, effectively harnessing textual data
and labels from diverse downstream tasks. In addition, Piccolo2 scales up the
embedding dimension and uses MRL training to support more flexible vector
dimensions. The latest information of piccolo models can be accessed via:
https://huggingface.co/sensenova/