Transformando Incorporadores de Texto em Aprendizes de Poucas Amostras

Making Text Embedders Few-Shot Learners

September 24, 2024

Autores: Chaofan Li, MingHao Qin, Shitao Xiao, Jianlyu Chen, Kun Luo, Yingxia Shao, Defu Lian, Zheng Liu

cs.AI

Resumo

Grandes modelos de linguagem (LLMs) com arquiteturas apenas de decodificação demonstram notáveis capacidades de aprendizado em contexto (ICL). Essa característica permite que eles lidem eficazmente com tarefas familiares e novas, utilizando exemplos fornecidos dentro do contexto de entrada. Reconhecendo o potencial dessa capacidade, propomos aproveitar a funcionalidade de ICL nos LLMs para aprimorar o processo de geração de incorporações de texto. Para isso, introduzimos um modelo inovador chamado bge-en-icl, que utiliza exemplos de poucas amostras para produzir incorporações de texto de alta qualidade. Nossa abordagem integra exemplos relacionados à tarefa diretamente no lado da consulta, resultando em melhorias significativas em várias tarefas. Além disso, investigamos como utilizar efetivamente os LLMs como modelos de incorporação, incluindo vários mecanismos de atenção, métodos de pooling, etc. Nossas descobertas sugerem que manter o framework original frequentemente produz os melhores resultados, destacando que a simplicidade é o melhor caminho. Resultados experimentais nos benchmarks MTEB e AIR-Bench demonstram que nossa abordagem estabelece uma nova performance de estado da arte (SOTA). Nosso modelo, código e conjunto de dados estão disponíveis gratuitamente em https://github.com/FlagOpen/FlagEmbedding.

English

Large language models (LLMs) with decoder-only architectures demonstrate remarkable in-context learning (ICL) capabilities. This feature enables them to effectively handle both familiar and novel tasks by utilizing examples provided within their input context. Recognizing the potential of this capability, we propose leveraging the ICL feature in LLMs to enhance the process of text embedding generation. To this end, we introduce a novel model bge-en-icl, which employs few-shot examples to produce high-quality text embeddings. Our approach integrates task-related examples directly into the query side, resulting in significant improvements across various tasks. Additionally, we have investigated how to effectively utilize LLMs as embedding models, including various attention mechanisms, pooling methods, etc. Our findings suggest that retaining the original framework often yields the best results, underscoring that simplicity is best. Experimental results on the MTEB and AIR-Bench benchmarks demonstrate that our approach sets new state-of-the-art (SOTA) performance. Our model, code and dataset are freely available at https://github.com/FlagOpen/FlagEmbedding .