User-LLM: Contextualización Eficiente de Modelos de Lenguaje con Incrustaciones de Usuario
User-LLM: Efficient LLM Contextualization with User Embeddings
February 21, 2024
Autores: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant Prakash, Bradley Green, Shawn O'Banion, Jun Xie
cs.AI
Resumen
Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han revolucionado el procesamiento del lenguaje natural. Sin embargo, incorporar de manera efectiva datos de interacción de usuarios complejos y potencialmente ruidosos sigue siendo un desafío. Para abordar esto, proponemos User-LLM, un marco novedoso que aprovecha los embeddings de usuarios para contextualizar los LLMs. Estos embeddings, extraídos de diversas interacciones de usuarios mediante preentrenamiento autosupervisado, capturan las preferencias latentes de los usuarios y su evolución en el tiempo. Integramos estos embeddings de usuarios con los LLMs mediante atención cruzada y soft-prompting, permitiendo que los LLMs se adapten dinámicamente al contexto del usuario. Nuestros experimentos exhaustivos en los conjuntos de datos MovieLens, Amazon Review y Google Local Review demuestran mejoras significativas en el rendimiento en diversas tareas. En particular, nuestro enfoque supera la contextualización basada en prompts de texto en tareas de secuencias largas y tareas que requieren un profundo entendimiento del usuario, además de ser computacionalmente eficiente. Además, incorporamos capas Perceiver para optimizar la integración entre los codificadores de usuarios y los LLMs, reduciendo las demandas computacionales.
English
Large language models (LLMs) have revolutionized natural language processing.
However, effectively incorporating complex and potentially noisy user
interaction data remains a challenge. To address this, we propose User-LLM, a
novel framework that leverages user embeddings to contextualize LLMs. These
embeddings, distilled from diverse user interactions using self-supervised
pretraining, capture latent user preferences and their evolution over time. We
integrate these user embeddings with LLMs through cross-attention and
soft-prompting, enabling LLMs to dynamically adapt to user context. Our
comprehensive experiments on MovieLens, Amazon Review, and Google Local Review
datasets demonstrate significant performance gains across various tasks.
Notably, our approach outperforms text-prompt-based contextualization on long
sequence tasks and tasks that require deep user understanding while being
computationally efficient. We further incorporate Perceiver layers to
streamline the integration between user encoders and LLMs, reducing
computational demands.Summary
AI-Generated Summary