Text-Einbettungen als Few-Shot-Lerner

Making Text Embedders Few-Shot Learners

September 24, 2024

Autoren: Chaofan Li, MingHao Qin, Shitao Xiao, Jianlyu Chen, Kun Luo, Yingxia Shao, Defu Lian, Zheng Liu

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) mit ausschließlichem Decoder-Aufbau zeigen bemerkenswerte Fähigkeiten zum kontextbezogenen Lernen (ICL). Diese Eigenschaft ermöglicht es ihnen, sowohl vertraute als auch neue Aufgaben effektiv zu bewältigen, indem sie Beispiele nutzen, die innerhalb ihres Eingangskontexts bereitgestellt werden. In Anerkennung des Potenzials dieser Fähigkeit schlagen wir vor, das ICL-Merkmal in LLMs zu nutzen, um den Prozess der Texteinbettungsgenerierung zu verbessern. Zu diesem Zweck stellen wir ein neuartiges Modell bge-en-icl vor, das wenige Beispiele verwendet, um hochwertige Texteinbettungen zu erzeugen. Unser Ansatz integriert aufgabenbezogene Beispiele direkt auf der Abfrageseite, was zu signifikanten Verbesserungen bei verschiedenen Aufgaben führt. Darüber hinaus haben wir untersucht, wie man LLMs effektiv als Einbettungsmodelle nutzt, einschließlich verschiedener Aufmerksamkeitsmechanismen, Pooling-Methoden usw. Unsere Ergebnisse legen nahe, dass die Beibehaltung des ursprünglichen Rahmens oft die besten Ergebnisse liefert und betonen, dass Einfachheit am besten ist. Experimentelle Ergebnisse auf den MTEB- und AIR-Bench-Benchmarks zeigen, dass unser Ansatz eine neue State-of-the-Art-Leistung erzielt. Unser Modell, Code und Datensatz sind frei verfügbar unter https://github.com/FlagOpen/FlagEmbedding.

English

Large language models (LLMs) with decoder-only architectures demonstrate remarkable in-context learning (ICL) capabilities. This feature enables them to effectively handle both familiar and novel tasks by utilizing examples provided within their input context. Recognizing the potential of this capability, we propose leveraging the ICL feature in LLMs to enhance the process of text embedding generation. To this end, we introduce a novel model bge-en-icl, which employs few-shot examples to produce high-quality text embeddings. Our approach integrates task-related examples directly into the query side, resulting in significant improvements across various tasks. Additionally, we have investigated how to effectively utilize LLMs as embedding models, including various attention mechanisms, pooling methods, etc. Our findings suggest that retaining the original framework often yields the best results, underscoring that simplicity is best. Experimental results on the MTEB and AIR-Bench benchmarks demonstrate that our approach sets new state-of-the-art (SOTA) performance. Our model, code and dataset are freely available at https://github.com/FlagOpen/FlagEmbedding .