Generatieve Representationale Instructieafstemming

Generative Representational Instruction Tuning

February 15, 2024

Auteurs: Niklas Muennighoff, Hongjin Su, Liang Wang, Nan Yang, Furu Wei, Tao Yu, Amanpreet Singh, Douwe Kiela

cs.AI

Samenvatting

Alle tekstgebaseerde taalproblemen kunnen worden teruggebracht tot ofwel generatie ofwel embedding. Huidige modellen presteren alleen goed bij één van beide. We introduceren generatieve representational instruction tuning (GRIT), waarbij een groot taalmodel wordt getraind om zowel generatieve als embeddingtaken aan te kunnen door onderscheid te maken tussen deze taken via instructies. In vergelijking met andere open modellen, stelt ons resulterende GritLM 7B een nieuwe standaard op de Massive Text Embedding Benchmark (MTEB) en overtreft het alle modellen tot zijn grootte op een reeks generatieve taken. Door verder op te schalen, overtreft GritLM 8x7B alle open generatieve taalmodellen die we hebben getest, terwijl het nog steeds tot de beste embeddingmodellen behoort. Opmerkelijk is dat we ontdekken dat GRIT even goed presteert als training op alleen generatieve of embeddingdata, waardoor we beide kunnen verenigen zonder prestatieverlies. Onder andere voordelen versnelt de unificatie via GRIT Retrieval-Augmented Generation (RAG) met > 60% voor lange documenten, doordat er geen aparte retrieval- en generatiemodellen meer nodig zijn. Modellen, code, enz. zijn vrij beschikbaar op https://github.com/ContextualAI/gritlm.

English

All text-based language problems can be reduced to either generation or embedding. Current models only perform well at one or the other. We introduce generative representational instruction tuning (GRIT) whereby a large language model is trained to handle both generative and embedding tasks by distinguishing between them through instructions. Compared to other open models, our resulting GritLM 7B sets a new state of the art on the Massive Text Embedding Benchmark (MTEB) and outperforms all models up to its size on a range of generative tasks. By scaling up further, GritLM 8x7B outperforms all open generative language models that we tried while still being among the best embedding models. Notably, we find that GRIT matches training on only generative or embedding data, thus we can unify both at no performance loss. Among other benefits, the unification via GRIT speeds up Retrieval-Augmented Generation (RAG) by > 60% for long documents, by no longer requiring separate retrieval and generation models. Models, code, etc. are freely available at https://github.com/ContextualAI/gritlm.