Gecko : Des embeddings textuels polyvalents distillés à partir de grands modèles de langage

Gecko: Versatile Text Embeddings Distilled from Large Language Models

March 29, 2024

Auteurs: Jinhyuk Lee, Zhuyun Dai, Xiaoqi Ren, Blair Chen, Daniel Cer, Jeremy R. Cole, Kai Hui, Michael Boratko, Rajvi Kapadia, Wen Ding, Yi Luan, Sai Meher Karthik Duddu, Gustavo Hernandez Abrego, Weiqiang Shi, Nithi Gupta, Aditya Kusupati, Prateek Jain, Siddhartha Reddy Jonnalagadda, Ming-Wei Chang, Iftekhar Naim

cs.AI

Résumé

Nous présentons Gecko, un modèle d'incorporation de texte compact et polyvalent. Gecko atteint des performances de recherche solides en exploitant une idée clé : la distillation de connaissances à partir de modèles de langage de grande taille (LLMs) vers un système de recherche. Notre processus de distillation en deux étapes commence par la génération de données synthétiques et diversifiées à l'aide d'un LLM. Ensuite, nous affinons davantage la qualité des données en récupérant un ensemble de passages candidats pour chaque requête, puis en réétiquetant les passages positifs et les négatifs difficiles en utilisant le même LLM. L'efficacité de notre approche est démontrée par la compacité de Gecko. Sur le benchmark Massive Text Embedding (MTEB), Gecko avec 256 dimensions d'incorporation surpasse toutes les entrées existantes avec une taille d'incorporation de 768. Gecko avec 768 dimensions d'incorporation atteint un score moyen de 66,31, rivalisant avec des modèles 7 fois plus grands et des incorporations 5 fois plus dimensionnées.

English

We present Gecko, a compact and versatile text embedding model. Gecko achieves strong retrieval performance by leveraging a key idea: distilling knowledge from large language models (LLMs) into a retriever. Our two-step distillation process begins with generating diverse, synthetic paired data using an LLM. Next, we further refine the data quality by retrieving a set of candidate passages for each query, and relabeling the positive and hard negative passages using the same LLM. The effectiveness of our approach is demonstrated by the compactness of the Gecko. On the Massive Text Embedding Benchmark (MTEB), Gecko with 256 embedding dimensions outperforms all existing entries with 768 embedding size. Gecko with 768 embedding dimensions achieves an average score of 66.31, competing with 7x larger models and 5x higher dimensional embeddings.