Gecko: Embedding Testuali Versatili Distillati da Modelli Linguistici di Grande Dimensione

Gecko: Versatile Text Embeddings Distilled from Large Language Models

March 29, 2024

Autori: Jinhyuk Lee, Zhuyun Dai, Xiaoqi Ren, Blair Chen, Daniel Cer, Jeremy R. Cole, Kai Hui, Michael Boratko, Rajvi Kapadia, Wen Ding, Yi Luan, Sai Meher Karthik Duddu, Gustavo Hernandez Abrego, Weiqiang Shi, Nithi Gupta, Aditya Kusupati, Prateek Jain, Siddhartha Reddy Jonnalagadda, Ming-Wei Chang, Iftekhar Naim

cs.AI

Abstract

Presentiamo Gecko, un modello di embedding testuale compatto e versatile. Gecco ottiene prestazioni di retrieval robuste sfruttando un'idea chiave: distillare la conoscenza da modelli linguistici di grandi dimensioni (LLM) in un retriever. Il nostro processo di distillazione in due fasi inizia con la generazione di dati sintetici accoppiati e diversificati utilizzando un LLM. Successivamente, perfezioniamo ulteriormente la qualità dei dati recuperando un insieme di passaggi candidati per ciascuna query e rietichettando i passaggi positivi e quelli negativi difficili utilizzando lo stesso LLM. L'efficacia del nostro approccio è dimostrata dalla compattezza di Gecko. Sul Massive Text Embedding Benchmark (MTEB), Gecko con 256 dimensioni di embedding supera tutte le voci esistenti con dimensioni di embedding pari a 768. Gecko con 768 dimensioni di embedding raggiunge un punteggio medio di 66.31, competendo con modelli 7 volte più grandi e embedding con dimensioni 5 volte superiori.

English

We present Gecko, a compact and versatile text embedding model. Gecko achieves strong retrieval performance by leveraging a key idea: distilling knowledge from large language models (LLMs) into a retriever. Our two-step distillation process begins with generating diverse, synthetic paired data using an LLM. Next, we further refine the data quality by retrieving a set of candidate passages for each query, and relabeling the positive and hard negative passages using the same LLM. The effectiveness of our approach is demonstrated by the compactness of the Gecko. On the Massive Text Embedding Benchmark (MTEB), Gecko with 256 embedding dimensions outperforms all existing entries with 768 embedding size. Gecko with 768 embedding dimensions achieves an average score of 66.31, competing with 7x larger models and 5x higher dimensional embeddings.