Gecko: Incorporações de Texto Versáteis Destiladas de Modelos de Linguagem de Grande Escala

Gecko: Versatile Text Embeddings Distilled from Large Language Models

March 29, 2024

Autores: Jinhyuk Lee, Zhuyun Dai, Xiaoqi Ren, Blair Chen, Daniel Cer, Jeremy R. Cole, Kai Hui, Michael Boratko, Rajvi Kapadia, Wen Ding, Yi Luan, Sai Meher Karthik Duddu, Gustavo Hernandez Abrego, Weiqiang Shi, Nithi Gupta, Aditya Kusupati, Prateek Jain, Siddhartha Reddy Jonnalagadda, Ming-Wei Chang, Iftekhar Naim

cs.AI

Resumo

Apresentamos o Gecko, um modelo compacto e versátil de incorporação de texto. O Gecko alcança um forte desempenho em recuperação de informações ao aproveitar uma ideia-chave: destilar conhecimento de modelos de linguagem de grande escala (LLMs) em um recuperador. Nosso processo de destilação em duas etapas começa com a geração de dados sintéticos e diversos, emparelhados, usando um LLM. Em seguida, refinamos ainda mais a qualidade dos dados ao recuperar um conjunto de passagens candidatas para cada consulta e reclassificar as passagens positivas e negativas difíceis usando o mesmo LLM. A eficácia da nossa abordagem é demonstrada pela compactação do Gecko. No Massive Text Embedding Benchmark (MTEB), o Gecko com 256 dimensões de incorporação supera todas as entradas existentes com tamanho de incorporação de 768. O Gecko com 768 dimensões de incorporação alcança uma pontuação média de 66,31, competindo com modelos 7x maiores e incorporações 5x mais dimensionais.

English

We present Gecko, a compact and versatile text embedding model. Gecko achieves strong retrieval performance by leveraging a key idea: distilling knowledge from large language models (LLMs) into a retriever. Our two-step distillation process begins with generating diverse, synthetic paired data using an LLM. Next, we further refine the data quality by retrieving a set of candidate passages for each query, and relabeling the positive and hard negative passages using the same LLM. The effectiveness of our approach is demonstrated by the compactness of the Gecko. On the Massive Text Embedding Benchmark (MTEB), Gecko with 256 embedding dimensions outperforms all existing entries with 768 embedding size. Gecko with 768 embedding dimensions achieves an average score of 66.31, competing with 7x larger models and 5x higher dimensional embeddings.