Seu Modelo LLM Mixture-of-Experts é Secretamente um Modelo de Incorporação Gratuito

Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free

October 14, 2024

Autores: Ziyue Li, Tianyi Zhou

cs.AI

Resumo

Embora os grandes modelos de linguagem (LLMs) se destaquem em tarefas de geração, sua arquitetura apenas do decodificador frequentemente limita seu potencial como modelos de incorporação se nenhuma outra afinação de representação for aplicada. Isso contradiz a alegação de serem generalistas? Para responder a essa pergunta, examinamos mais de perto os LLMs de Mixture-of-Experts (MoE). Nosso estudo mostra que os roteadores de especialistas nos LLMs de MoE podem servir como modelos de incorporação prontos para uso com desempenho promissor em uma variedade de tarefas focadas em incorporação, sem a necessidade de qualquer afinação. Além disso, nossa análise extensiva mostra que os pesos de roteamento (RW) do MoE são complementares ao estado oculto (HS) dos LLMs, uma incorporação amplamente utilizada. Em comparação com HS, descobrimos que RW é mais robusto à escolha de prompts e foca em semântica de alto nível. Motivados pela análise, propomos o MoEE combinando RW e HS, o que alcança melhor desempenho do que usar cada um separadamente. Nossa exploração da combinação deles e da estratégia de prompts revela várias percepções inovadoras, por exemplo, uma soma ponderada das similaridades de RW e HS supera a similaridade em sua concatenação. Nossos experimentos são realizados em 6 tarefas de incorporação com 20 conjuntos de dados do Massive Text Embedding Benchmark (MTEB). Os resultados demonstram a melhoria significativa trazida pelo MoEE para a incorporação baseada em LLM sem mais afinações.

English

While large language models (LLMs) excel on generation tasks, their decoder-only architecture often limits their potential as embedding models if no further representation finetuning is applied. Does this contradict their claim of generalists? To answer the question, we take a closer look at Mixture-of-Experts (MoE) LLMs. Our study shows that the expert routers in MoE LLMs can serve as an off-the-shelf embedding model with promising performance on a diverse class of embedding-focused tasks, without requiring any finetuning. Moreover, our extensive analysis shows that the MoE routing weights (RW) is complementary to the hidden state (HS) of LLMs, a widely-used embedding. Compared to HS, we find that RW is more robust to the choice of prompts and focuses on high-level semantics. Motivated by the analysis, we propose MoEE combining RW and HS, which achieves better performance than using either separately. Our exploration of their combination and prompting strategy shed several novel insights, e.g., a weighted sum of RW and HS similarities outperforms the similarity on their concatenation. Our experiments are conducted on 6 embedding tasks with 20 datasets from the Massive Text Embedding Benchmark (MTEB). The results demonstrate the significant improvement brought by MoEE to LLM-based embedding without further finetuning.