Piccolo2: Incrustación de Texto General con Entrenamiento de Pérdida Híbrida Multi-tarea

Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training

May 11, 2024

Autores: Junqin Huang, Zhongjie Hu, Zihao Jing, Mengya Gao, Yichao Wu

cs.AI

Resumen

En este informe presentamos Piccolo2, un modelo de embeddings que supera a otros modelos en la evaluación integral de 6 tareas en el benchmark CMTEB, estableciendo un nuevo estado del arte. Piccolo2 aprovecha principalmente un enfoque de entrenamiento eficiente con pérdida híbrida multitarea, utilizando de manera efectiva datos textuales y etiquetas de diversas tareas posteriores. Además, Piccolo2 amplía la dimensión de los embeddings y emplea entrenamiento MRL para admitir dimensiones vectoriales más flexibles. La información más reciente sobre los modelos Piccolo puede consultarse en: https://huggingface.co/sensenova/

English

In this report, we introduce Piccolo2, an embedding model that surpasses other models in the comprehensive evaluation over 6 tasks on CMTEB benchmark, setting a new state-of-the-art. Piccolo2 primarily leverages an efficient multi-task hybrid loss training approach, effectively harnessing textual data and labels from diverse downstream tasks. In addition, Piccolo2 scales up the embedding dimension and uses MRL training to support more flexible vector dimensions. The latest information of piccolo models can be accessed via: https://huggingface.co/sensenova/