Het maken van tekst-embedders als few-shot leerlingen.

Making Text Embedders Few-Shot Learners

September 24, 2024

Auteurs: Chaofan Li, MingHao Qin, Shitao Xiao, Jianlyu Chen, Kun Luo, Yingxia Shao, Defu Lian, Zheng Liu

cs.AI

Samenvatting

Grote taalmodellen (LLM's) met alleen-decoder-architecturen tonen opmerkelijke in-context leren (ICL) mogelijkheden. Deze functie stelt hen in staat om zowel bekende als nieuwe taken effectief aan te pakken door gebruik te maken van voorbeelden die binnen hun invoercontext worden verstrekt. Gezien het potentieel van deze mogelijkheid, stellen we voor om de ICL-functie in LLM's te benutten om het proces van tekst-embeddinggeneratie te verbeteren. Hiertoe introduceren we een nieuw model bge-en-icl, dat weinig-shot voorbeelden gebruikt om hoogwaardige tekst-embeddings te produceren. Onze aanpak integreert taakgerelateerde voorbeelden rechtstreeks aan de queryzijde, wat resulteert in aanzienlijke verbeteringen over verschillende taken. Daarnaast hebben we onderzocht hoe LLM's effectief kunnen worden gebruikt als embeddingmodellen, inclusief verschillende aandachtsmechanismen, poolingmethoden, enz. Onze bevindingen suggereren dat het behouden van het oorspronkelijke kader vaak de beste resultaten oplevert, waarbij wordt benadrukt dat eenvoud het beste is. Experimentele resultaten op de MTEB- en AIR-Bench benchmarks tonen aan dat onze aanpak nieuwe state-of-the-art (SOTA) prestaties neerzet. Ons model, code en dataset zijn vrij beschikbaar op https://github.com/FlagOpen/FlagEmbedding.

English

Large language models (LLMs) with decoder-only architectures demonstrate remarkable in-context learning (ICL) capabilities. This feature enables them to effectively handle both familiar and novel tasks by utilizing examples provided within their input context. Recognizing the potential of this capability, we propose leveraging the ICL feature in LLMs to enhance the process of text embedding generation. To this end, we introduce a novel model bge-en-icl, which employs few-shot examples to produce high-quality text embeddings. Our approach integrates task-related examples directly into the query side, resulting in significant improvements across various tasks. Additionally, we have investigated how to effectively utilize LLMs as embedding models, including various attention mechanisms, pooling methods, etc. Our findings suggest that retaining the original framework often yields the best results, underscoring that simplicity is best. Experimental results on the MTEB and AIR-Bench benchmarks demonstrate that our approach sets new state-of-the-art (SOTA) performance. Our model, code and dataset are freely available at https://github.com/FlagOpen/FlagEmbedding .