Piccolo2: Incorporação Geral de Texto com Treinamento de Perda Híbrida Multi-tarefa
Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training
May 11, 2024
Autores: Junqin Huang, Zhongjie Hu, Zihao Jing, Mengya Gao, Yichao Wu
cs.AI
Resumo
Neste relatório, apresentamos o Piccolo2, um modelo de embedding que supera outros modelos na avaliação abrangente de 6 tarefas no benchmark CMTEB, estabelecendo um novo estado da arte. O Piccolo2 utiliza principalmente uma abordagem eficiente de treinamento com perda híbrida multitarefa, aproveitando efetivamente dados textuais e rótulos de diversas tarefas downstream. Além disso, o Piccolo2 amplia a dimensão do embedding e emprega treinamento MRL para suportar dimensões vetoriais mais flexíveis. As informações mais recentes sobre os modelos Piccolo podem ser acessadas em: https://huggingface.co/sensenova/
English
In this report, we introduce Piccolo2, an embedding model that surpasses
other models in the comprehensive evaluation over 6 tasks on CMTEB benchmark,
setting a new state-of-the-art. Piccolo2 primarily leverages an efficient
multi-task hybrid loss training approach, effectively harnessing textual data
and labels from diverse downstream tasks. In addition, Piccolo2 scales up the
embedding dimension and uses MRL training to support more flexible vector
dimensions. The latest information of piccolo models can be accessed via:
https://huggingface.co/sensenova/