Tu LLM de Mezcla de Expertos es Secretamente un Modelo de Incrustación Gratis

Your Mixture-of-Experts LLM Is Secretly an Embedding Model For Free

October 14, 2024

Autores: Ziyue Li, Tianyi Zhou

cs.AI

Resumen

Si bien los modelos de lenguaje grandes (LLMs, por sus siglas en inglés) destacan en tareas de generación, su arquitectura basada únicamente en decodificadores a menudo limita su potencial como modelos de incrustación si no se aplica un ajuste fino adicional de representación. ¿Contradice esto su afirmación de ser generalistas? Para responder a esta pregunta, examinamos de cerca los LLMs de Mezcla de Expertos (MoE, por sus siglas en inglés). Nuestro estudio muestra que los enrutadores de expertos en los LLMs de MoE pueden funcionar como un modelo de incrustación listo para usar con un rendimiento prometedor en una diversa clase de tareas centradas en la incrustación, sin necesidad de ningún ajuste fino. Además, nuestro análisis exhaustivo muestra que los pesos de enrutamiento de MoE (RW) son complementarios al estado oculto (HS) de los LLMs, una incrustación ampliamente utilizada. En comparación con HS, encontramos que RW es más robusto a la elección de indicaciones y se centra en la semántica de alto nivel. Motivados por el análisis, proponemos MoEE combinando RW y HS, lo cual logra un mejor rendimiento que al utilizarlos por separado. Nuestra exploración de su combinación y estrategia de indicación arroja varias ideas novedosas, por ejemplo, una suma ponderada de similitudes de RW y HS supera a la similitud en su concatenación. Nuestros experimentos se realizaron en 6 tareas de incrustación con 20 conjuntos de datos del Banco de Pruebas de Incrustación de Texto Masivo (MTEB, por sus siglas en inglés). Los resultados demuestran la mejora significativa que MoEE aporta a la incrustación basada en LLM sin necesidad de un ajuste fino adicional.

English

While large language models (LLMs) excel on generation tasks, their decoder-only architecture often limits their potential as embedding models if no further representation finetuning is applied. Does this contradict their claim of generalists? To answer the question, we take a closer look at Mixture-of-Experts (MoE) LLMs. Our study shows that the expert routers in MoE LLMs can serve as an off-the-shelf embedding model with promising performance on a diverse class of embedding-focused tasks, without requiring any finetuning. Moreover, our extensive analysis shows that the MoE routing weights (RW) is complementary to the hidden state (HS) of LLMs, a widely-used embedding. Compared to HS, we find that RW is more robust to the choice of prompts and focuses on high-level semantics. Motivated by the analysis, we propose MoEE combining RW and HS, which achieves better performance than using either separately. Our exploration of their combination and prompting strategy shed several novel insights, e.g., a weighted sum of RW and HS similarities outperforms the similarity on their concatenation. Our experiments are conducted on 6 embedding tasks with 20 datasets from the Massive Text Embedding Benchmark (MTEB). The results demonstrate the significant improvement brought by MoEE to LLM-based embedding without further finetuning.