Gecko: Veelzijdige tekstembeddingen gedistilleerd uit grote taalmodellen

Samenvatting

We presenteren Gecko, een compact en veelzijdig tekstembeddingmodel. Gecko bereikt sterke retrievale prestaties door een belangrijk idee te benutten: het distilleren van kennis uit grote taalmmodellen (LLMs) in een retriever. Ons tweetraps distillatieproces begint met het genereren van diverse, synthetische gepaarde data met behulp van een LLM. Vervolgens verfijnen we de datakwaliteit door een set kandidaatpassages voor elke query op te halen en de positieve en moeilijke negatieve passages opnieuw te labelen met hetzelfde LLM. De effectiviteit van onze aanpak wordt aangetoond door de compactheid van Gecko. Op de Massive Text Embedding Benchmark (MTEB) presteert Gecko met 256 embeddingdimensies beter dan alle bestaande inzendingen met 768 embeddinggrootte. Gecko met 768 embeddingdimensies behaalt een gemiddelde score van 66.31, wat concurreert met 7x grotere modellen en 5x hogere dimensionale embeddings.

English

We present Gecko, a compact and versatile text embedding model. Gecko achieves strong retrieval performance by leveraging a key idea: distilling knowledge from large language models (LLMs) into a retriever. Our two-step distillation process begins with generating diverse, synthetic paired data using an LLM. Next, we further refine the data quality by retrieving a set of candidate passages for each query, and relabeling the positive and hard negative passages using the same LLM. The effectiveness of our approach is demonstrated by the compactness of the Gecko. On the Massive Text Embedding Benchmark (MTEB), Gecko with 256 embedding dimensions outperforms all existing entries with 768 embedding size. Gecko with 768 embedding dimensions achieves an average score of 66.31, competing with 7x larger models and 5x higher dimensional embeddings.

Gecko: Veelzijdige tekstembeddingen gedistilleerd uit grote taalmodellen

Gecko: Versatile Text Embeddings Distilled from Large Language Models

Samenvatting

Support