User-LLM: Contextualización Eficiente de Modelos de Lenguaje con Incrustaciones de Usuario

User-LLM: Efficient LLM Contextualization with User Embeddings

February 21, 2024

Autores: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant Prakash, Bradley Green, Shawn O'Banion, Jun Xie

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han revolucionado el procesamiento del lenguaje natural. Sin embargo, incorporar de manera efectiva datos de interacción de usuarios complejos y potencialmente ruidosos sigue siendo un desafío. Para abordar esto, proponemos User-LLM, un marco novedoso que aprovecha los embeddings de usuarios para contextualizar los LLMs. Estos embeddings, extraídos de diversas interacciones de usuarios mediante preentrenamiento autosupervisado, capturan las preferencias latentes de los usuarios y su evolución en el tiempo. Integramos estos embeddings de usuarios con los LLMs mediante atención cruzada y soft-prompting, permitiendo que los LLMs se adapten dinámicamente al contexto del usuario. Nuestros experimentos exhaustivos en los conjuntos de datos MovieLens, Amazon Review y Google Local Review demuestran mejoras significativas en el rendimiento en diversas tareas. En particular, nuestro enfoque supera la contextualización basada en prompts de texto en tareas de secuencias largas y tareas que requieren un profundo entendimiento del usuario, además de ser computacionalmente eficiente. Además, incorporamos capas Perceiver para optimizar la integración entre los codificadores de usuarios y los LLMs, reduciendo las demandas computacionales.

English

Large language models (LLMs) have revolutionized natural language processing. However, effectively incorporating complex and potentially noisy user interaction data remains a challenge. To address this, we propose User-LLM, a novel framework that leverages user embeddings to contextualize LLMs. These embeddings, distilled from diverse user interactions using self-supervised pretraining, capture latent user preferences and their evolution over time. We integrate these user embeddings with LLMs through cross-attention and soft-prompting, enabling LLMs to dynamically adapt to user context. Our comprehensive experiments on MovieLens, Amazon Review, and Google Local Review datasets demonstrate significant performance gains across various tasks. Notably, our approach outperforms text-prompt-based contextualization on long sequence tasks and tasks that require deep user understanding while being computationally efficient. We further incorporate Perceiver layers to streamline the integration between user encoders and LLMs, reducing computational demands.