Generatives Repräsentations-Instruktions-Finetuning

Generative Representational Instruction Tuning

February 15, 2024

Autoren: Niklas Muennighoff, Hongjin Su, Liang Wang, Nan Yang, Furu Wei, Tao Yu, Amanpreet Singh, Douwe Kiela

cs.AI

Zusammenfassung

Alle textbasierten Sprachprobleme lassen sich entweder auf Generierung oder Einbettung reduzieren. Aktuelle Modelle sind nur in einem der beiden Bereiche gut. Wir führen das generative repräsentative Instruktions-Tuning (GRIT) ein, bei dem ein großes Sprachmodell darauf trainiert wird, sowohl generative als auch Einbettungsaufgaben zu bewältigen, indem es diese durch Instruktionen unterscheidet. Im Vergleich zu anderen offenen Modellen setzt unser resultierendes GritLM 7B einen neuen Maßstab auf dem Massive Text Embedding Benchmark (MTEB) und übertrifft alle Modelle bis zu seiner Größe in einer Reihe von generativen Aufgaben. Durch weitere Skalierung übertrifft GritLM 8x7B alle offenen generativen Sprachmodelle, die wir getestet haben, und gehört gleichzeitig zu den besten Einbettungsmodellen. Bemerkenswerterweise stellen wir fest, dass GRIT dem Training mit ausschließlich generativen oder Einbettungsdaten entspricht, sodass wir beide ohne Leistungsverlust vereinen können. Unter anderen Vorteilen beschleunigt die Vereinigung durch GRIT die Retrieval-Augmented Generation (RAG) um > 60 % für lange Dokumente, da keine separaten Retrieval- und Generierungsmodelle mehr benötigt werden. Modelle, Code usw. sind frei verfügbar unter https://github.com/ContextualAI/gritlm.

English

All text-based language problems can be reduced to either generation or embedding. Current models only perform well at one or the other. We introduce generative representational instruction tuning (GRIT) whereby a large language model is trained to handle both generative and embedding tasks by distinguishing between them through instructions. Compared to other open models, our resulting GritLM 7B sets a new state of the art on the Massive Text Embedding Benchmark (MTEB) and outperforms all models up to its size on a range of generative tasks. By scaling up further, GritLM 8x7B outperforms all open generative language models that we tried while still being among the best embedding models. Notably, we find that GRIT matches training on only generative or embedding data, thus we can unify both at no performance loss. Among other benefits, the unification via GRIT speeds up Retrieval-Augmented Generation (RAG) by > 60% for long documents, by no longer requiring separate retrieval and generation models. Models, code, etc. are freely available at https://github.com/ContextualAI/gritlm.