Генеративная Настройка Инструкций для Представлений

Аннотация

Все текстовые языковые задачи могут быть сведены либо к генерации, либо к созданию эмбеддингов. Современные модели хорошо справляются только с одной из этих задач. Мы представляем метод генеративного репрезентационного обучения по инструкциям (Generative Representational Instruction Tuning, GRIT), при котором крупная языковая модель обучается выполнять как генеративные, так и задачи создания эмбеддингов, различая их с помощью инструкций. По сравнению с другими открытыми моделями, наша модель GritLM 7B устанавливает новый рекорд на бенчмарке Massive Text Embedding Benchmark (MTEB) и превосходит все модели своего размера на ряде генеративных задач. При дальнейшем масштабировании GritLM 8x7B превосходит все открытые генеративные языковые модели, которые мы тестировали, оставаясь при этом одной из лучших моделей для создания эмбеддингов. Примечательно, что мы обнаружили, что GRIT соответствует по эффективности обучению только на генеративных или только на данных для эмбеддингов, что позволяет объединить оба подхода без потери производительности. Среди других преимуществ, унификация через GRIT ускоряет Retrieval-Augmented Generation (RAG) более чем на 60% для длинных документов, поскольку больше не требуется использование отдельных моделей для извлечения и генерации. Модели, код и другие материалы доступны по адресу https://github.com/ContextualAI/gritlm.

English

All text-based language problems can be reduced to either generation or embedding. Current models only perform well at one or the other. We introduce generative representational instruction tuning (GRIT) whereby a large language model is trained to handle both generative and embedding tasks by distinguishing between them through instructions. Compared to other open models, our resulting GritLM 7B sets a new state of the art on the Massive Text Embedding Benchmark (MTEB) and outperforms all models up to its size on a range of generative tasks. By scaling up further, GritLM 8x7B outperforms all open generative language models that we tried while still being among the best embedding models. Notably, we find that GRIT matches training on only generative or embedding data, thus we can unify both at no performance loss. Among other benefits, the unification via GRIT speeds up Retrieval-Augmented Generation (RAG) by > 60% for long documents, by no longer requiring separate retrieval and generation models. Models, code, etc. are freely available at https://github.com/ContextualAI/gritlm.