Piccolo2: Общее встраивание текста с обучением мультизадачным гибридным потерями.

Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training

May 11, 2024

Авторы: Junqin Huang, Zhongjie Hu, Zihao Jing, Mengya Gao, Yichao Wu

cs.AI

Аннотация

В данном отчете мы представляем Piccolo2, модель встраивания, превосходящую другие модели в комплексной оценке по 6 задачам на бенчмарке CMTEB, устанавливая новый уровень state-of-the-art. Piccolo2 в основном использует эффективный подход к обучению с использованием гибридной функции потерь для мультизадачности, эффективно используя текстовые данные и метки из разнообразных задач. Кроме того, Piccolo2 увеличивает размерность встраивания и использует MRL-обучение для поддержки более гибких векторных размерностей. Последнюю информацию о моделях Piccolo можно получить по ссылке: https://huggingface.co/sensenova/

English

In this report, we introduce Piccolo2, an embedding model that surpasses other models in the comprehensive evaluation over 6 tasks on CMTEB benchmark, setting a new state-of-the-art. Piccolo2 primarily leverages an efficient multi-task hybrid loss training approach, effectively harnessing textual data and labels from diverse downstream tasks. In addition, Piccolo2 scales up the embedding dimension and uses MRL training to support more flexible vector dimensions. The latest information of piccolo models can be accessed via: https://huggingface.co/sensenova/