User-LLM: Effiziente Kontextualisierung von LLMs mit Benutzer-Embeddings

User-LLM: Efficient LLM Contextualization with User Embeddings

February 21, 2024

Autoren: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant Prakash, Bradley Green, Shawn O'Banion, Jun Xie

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben die natürliche Sprachverarbeitung revolutioniert. Die effektive Einbindung komplexer und potenziell verrauschter Benutzerinteraktionsdaten bleibt jedoch eine Herausforderung. Um dies zu adressieren, schlagen wir User-LLM vor, ein neuartiges Framework, das Benutzer-Embeddings nutzt, um LLMs zu kontextualisieren. Diese Embeddings, die durch selbstüberwachtes Pretraining aus diversen Benutzerinteraktionen destilliert werden, erfassen latente Benutzerpräferenzen und deren Entwicklung über die Zeit. Wir integrieren diese Benutzer-Embeddings mit LLMs durch Cross-Attention und Soft-Prompting, wodurch LLMs dynamisch an den Benutzerkontext angepasst werden können. Unsere umfassenden Experimente auf den Datensätzen MovieLens, Amazon Review und Google Local Review zeigen signifikante Leistungssteigerungen über verschiedene Aufgaben hinweg. Insbesondere übertrifft unser Ansatz die textbasierte Kontextualisierung bei Aufgaben mit langen Sequenzen und Aufgaben, die ein tiefes Benutzerverständnis erfordern, während er gleichzeitig recheneffizient ist. Wir integrieren weiterhin Perceiver-Schichten, um die Integration zwischen Benutzer-Encodern und LLMs zu optimieren und den Rechenaufwand zu reduzieren.

English

Large language models (LLMs) have revolutionized natural language processing. However, effectively incorporating complex and potentially noisy user interaction data remains a challenge. To address this, we propose User-LLM, a novel framework that leverages user embeddings to contextualize LLMs. These embeddings, distilled from diverse user interactions using self-supervised pretraining, capture latent user preferences and their evolution over time. We integrate these user embeddings with LLMs through cross-attention and soft-prompting, enabling LLMs to dynamically adapt to user context. Our comprehensive experiments on MovieLens, Amazon Review, and Google Local Review datasets demonstrate significant performance gains across various tasks. Notably, our approach outperforms text-prompt-based contextualization on long sequence tasks and tasks that require deep user understanding while being computationally efficient. We further incorporate Perceiver layers to streamline the integration between user encoders and LLMs, reducing computational demands.