Ваша модель Mixture-of-Experts LLM на самом деле является моделью встраивания, доступной бесплатно.

Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free

October 14, 2024

Авторы: Ziyue Li, Tianyi Zhou

cs.AI

Аннотация

Хотя большие языковые модели (LLM) блестяще справляются с задачами генерации, их архитектура только декодера часто ограничивает их потенциал как моделей встраивания, если не применяется дополнительное донастройка представления. Противоречит ли это их утверждению о общих способностях? Чтобы ответить на этот вопрос, мы внимательно рассмотрим модели LLM смеси экспертов (MoE). Наше исследование показывает, что маршрутизаторы экспертов в моделях MoE LLM могут служить моделью встраивания «из коробки» с многообещающей производительностью на разнообразных классах задач, сосредоточенных на встраивании, без необходимости какой-либо донастройки. Более того, наш обширный анализ показывает, что веса маршрутизации MoE (RW) дополняют скрытое состояние (HS) LLM, широко используемое встраивание. По сравнению с HS, мы обнаружили, что RW более устойчив к выбору подсказок и фокусируется на семантике высокого уровня. Под влиянием анализа мы предлагаем MoEE, объединяющий RW и HS, что дает лучшую производительность, чем использование их по отдельности. Наше исследование их комбинации и стратегии подсказок привели к нескольким новым идеям, например, взвешенная сумма сходств RW и HS превосходит сходство их конкатенации. Наши эксперименты проводились на 6 задачах встраивания с 20 наборами данных из Бенчмарка массового текстового встраивания (MTEB). Результаты демонстрируют значительное улучшение, достигнутое MoEE для встраивания на основе LLM без дополнительной донастройки.

English

While large language models (LLMs) excel on generation tasks, their decoder-only architecture often limits their potential as embedding models if no further representation finetuning is applied. Does this contradict their claim of generalists? To answer the question, we take a closer look at Mixture-of-Experts (MoE) LLMs. Our study shows that the expert routers in MoE LLMs can serve as an off-the-shelf embedding model with promising performance on a diverse class of embedding-focused tasks, without requiring any finetuning. Moreover, our extensive analysis shows that the MoE routing weights (RW) is complementary to the hidden state (HS) of LLMs, a widely-used embedding. Compared to HS, we find that RW is more robust to the choice of prompts and focuses on high-level semantics. Motivated by the analysis, we propose MoEE combining RW and HS, which achieves better performance than using either separately. Our exploration of their combination and prompting strategy shed several novel insights, e.g., a weighted sum of RW and HS similarities outperforms the similarity on their concatenation. Our experiments are conducted on 6 embedding tasks with 20 datasets from the Massive Text Embedding Benchmark (MTEB). The results demonstrate the significant improvement brought by MoEE to LLM-based embedding without further finetuning.