Gecko: Incrustaciones de Texto Versátiles Destiladas de Modelos de Lenguaje a Gran Escala

Gecko: Versatile Text Embeddings Distilled from Large Language Models

March 29, 2024

Autores: Jinhyuk Lee, Zhuyun Dai, Xiaoqi Ren, Blair Chen, Daniel Cer, Jeremy R. Cole, Kai Hui, Michael Boratko, Rajvi Kapadia, Wen Ding, Yi Luan, Sai Meher Karthik Duddu, Gustavo Hernandez Abrego, Weiqiang Shi, Nithi Gupta, Aditya Kusupati, Prateek Jain, Siddhartha Reddy Jonnalagadda, Ming-Wei Chang, Iftekhar Naim

cs.AI

Resumen

Presentamos Gecko, un modelo de embeddings de texto compacto y versátil. Gecko logra un rendimiento sólido en recuperación de información mediante una idea clave: destilar conocimiento de modelos de lenguaje grandes (LLMs) en un recuperador. Nuestro proceso de destilación en dos pasos comienza generando datos sintéticos diversos y emparejados utilizando un LLM. Luego, refinamos aún más la calidad de los datos recuperando un conjunto de pasajes candidatos para cada consulta y reetiquetando los pasajes positivos y negativos difíciles utilizando el mismo LLM. La efectividad de nuestro enfoque se demuestra por la compacidad de Gecko. En el Massive Text Embedding Benchmark (MTEB), Gecko con 256 dimensiones de embedding supera a todas las entradas existentes con un tamaño de embedding de 768. Gecko con 768 dimensiones de embedding alcanza una puntuación promedio de 66.31, compitiendo con modelos 7 veces más grandes y embeddings 5 veces más dimensionales.

English

We present Gecko, a compact and versatile text embedding model. Gecko achieves strong retrieval performance by leveraging a key idea: distilling knowledge from large language models (LLMs) into a retriever. Our two-step distillation process begins with generating diverse, synthetic paired data using an LLM. Next, we further refine the data quality by retrieving a set of candidate passages for each query, and relabeling the positive and hard negative passages using the same LLM. The effectiveness of our approach is demonstrated by the compactness of the Gecko. On the Massive Text Embedding Benchmark (MTEB), Gecko with 256 embedding dimensions outperforms all existing entries with 768 embedding size. Gecko with 768 embedding dimensions achieves an average score of 66.31, competing with 7x larger models and 5x higher dimensional embeddings.