User-LLM : Contextualisation efficace des LLM grâce aux embeddings utilisateur

User-LLM: Efficient LLM Contextualization with User Embeddings

February 21, 2024

Auteurs: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant Prakash, Bradley Green, Shawn O'Banion, Jun Xie

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont révolutionné le traitement du langage naturel. Cependant, l'intégration efficace de données d'interaction utilisateur complexes et potentiellement bruitées reste un défi. Pour y remédier, nous proposons User-LLM, un nouveau cadre qui exploite des embeddings utilisateur pour contextualiser les LLMs. Ces embeddings, distillés à partir de diverses interactions utilisateur grâce à un pré-entraînement auto-supervisé, capturent les préférences latentes des utilisateurs et leur évolution dans le temps. Nous intégrons ces embeddings utilisateur aux LLMs via des mécanismes de cross-attention et de soft-prompting, permettant aux LLMs de s'adapter dynamiquement au contexte utilisateur. Nos expériences approfondies sur les ensembles de données MovieLens, Amazon Review et Google Local Review démontrent des gains de performance significatifs sur diverses tâches. Notamment, notre approche surpasse la contextualisation basée sur des prompts textuels pour les tâches à séquences longues et celles nécessitant une compréhension approfondie de l'utilisateur, tout en étant efficace sur le plan computationnel. Nous intégrons en outre des couches Perceiver pour rationaliser l'intégration entre les encodeurs utilisateur et les LLMs, réduisant ainsi les exigences computationnelles.

English

Large language models (LLMs) have revolutionized natural language processing. However, effectively incorporating complex and potentially noisy user interaction data remains a challenge. To address this, we propose User-LLM, a novel framework that leverages user embeddings to contextualize LLMs. These embeddings, distilled from diverse user interactions using self-supervised pretraining, capture latent user preferences and their evolution over time. We integrate these user embeddings with LLMs through cross-attention and soft-prompting, enabling LLMs to dynamically adapt to user context. Our comprehensive experiments on MovieLens, Amazon Review, and Google Local Review datasets demonstrate significant performance gains across various tasks. Notably, our approach outperforms text-prompt-based contextualization on long sequence tasks and tasks that require deep user understanding while being computationally efficient. We further incorporate Perceiver layers to streamline the integration between user encoders and LLMs, reducing computational demands.