Votre Mixture-of-Experts LLM est secrètement un modèle d'incorporation gratuit.

Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free

October 14, 2024

Auteurs: Ziyue Li, Tianyi Zhou

cs.AI

Résumé

Alors que les grands modèles de langage (LLM) excellent dans les tâches de génération, leur architecture basée uniquement sur le décodeur limite souvent leur potentiel en tant que modèles d'incorporation s'ils ne sont pas soumis à un affinage de la représentation supplémentaire. Cela contredit-il leur prétention à être des généralistes ? Pour répondre à cette question, nous examinons de plus près les LLM à Mélange d'Experts (MoE). Notre étude montre que les routeurs d'experts dans les LLM à MoE peuvent servir de modèle d'incorporation prêt à l'emploi avec des performances prometteuses sur une classe diversifiée de tâches axées sur l'incorporation, sans nécessiter de quelconque affinage. De plus, notre analyse approfondie montre que les poids de routage MoE (RW) sont complémentaires à l'état caché (HS) des LLM, une incorporation largement utilisée. Par rapport à HS, nous constatons que RW est plus robuste au choix des invitations et se concentre sur la sémantique de haut niveau. Motivés par cette analyse, nous proposons MoEE combinant RW et HS, ce qui permet d'obtenir de meilleures performances que lorsqu'ils sont utilisés séparément. Notre exploration de leur combinaison et de la stratégie d'invitation apporte plusieurs nouvelles perspectives, par exemple, une somme pondérée des similarités RW et HS surpasse la similarité de leur concaténation. Nos expériences sont menées sur 6 tâches d'incorporation avec 20 ensembles de données provenant du Benchmark d'incorporation de texte massif (MTEB). Les résultats démontrent l'amélioration significative apportée par MoEE à l'incorporation basée sur les LLM sans nécessiter d'affinage supplémentaire.

English

While large language models (LLMs) excel on generation tasks, their decoder-only architecture often limits their potential as embedding models if no further representation finetuning is applied. Does this contradict their claim of generalists? To answer the question, we take a closer look at Mixture-of-Experts (MoE) LLMs. Our study shows that the expert routers in MoE LLMs can serve as an off-the-shelf embedding model with promising performance on a diverse class of embedding-focused tasks, without requiring any finetuning. Moreover, our extensive analysis shows that the MoE routing weights (RW) is complementary to the hidden state (HS) of LLMs, a widely-used embedding. Compared to HS, we find that RW is more robust to the choice of prompts and focuses on high-level semantics. Motivated by the analysis, we propose MoEE combining RW and HS, which achieves better performance than using either separately. Our exploration of their combination and prompting strategy shed several novel insights, e.g., a weighted sum of RW and HS similarities outperforms the similarity on their concatenation. Our experiments are conducted on 6 embedding tasks with 20 datasets from the Massive Text Embedding Benchmark (MTEB). The results demonstrate the significant improvement brought by MoEE to LLM-based embedding without further finetuning.