User-LLM: Effiziente Kontextualisierung von LLMs mit Benutzer-Embeddings
User-LLM: Efficient LLM Contextualization with User Embeddings
February 21, 2024
Autoren: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant Prakash, Bradley Green, Shawn O'Banion, Jun Xie
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) haben die natürliche Sprachverarbeitung revolutioniert. Die effektive Einbindung komplexer und potenziell verrauschter Benutzerinteraktionsdaten bleibt jedoch eine Herausforderung. Um dies zu adressieren, schlagen wir User-LLM vor, ein neuartiges Framework, das Benutzer-Embeddings nutzt, um LLMs zu kontextualisieren. Diese Embeddings, die durch selbstüberwachtes Pretraining aus diversen Benutzerinteraktionen destilliert werden, erfassen latente Benutzerpräferenzen und deren Entwicklung über die Zeit. Wir integrieren diese Benutzer-Embeddings mit LLMs durch Cross-Attention und Soft-Prompting, wodurch LLMs dynamisch an den Benutzerkontext angepasst werden können. Unsere umfassenden Experimente auf den Datensätzen MovieLens, Amazon Review und Google Local Review zeigen signifikante Leistungssteigerungen über verschiedene Aufgaben hinweg. Insbesondere übertrifft unser Ansatz die textbasierte Kontextualisierung bei Aufgaben mit langen Sequenzen und Aufgaben, die ein tiefes Benutzerverständnis erfordern, während er gleichzeitig recheneffizient ist. Wir integrieren weiterhin Perceiver-Schichten, um die Integration zwischen Benutzer-Encodern und LLMs zu optimieren und den Rechenaufwand zu reduzieren.
English
Large language models (LLMs) have revolutionized natural language processing.
However, effectively incorporating complex and potentially noisy user
interaction data remains a challenge. To address this, we propose User-LLM, a
novel framework that leverages user embeddings to contextualize LLMs. These
embeddings, distilled from diverse user interactions using self-supervised
pretraining, capture latent user preferences and their evolution over time. We
integrate these user embeddings with LLMs through cross-attention and
soft-prompting, enabling LLMs to dynamically adapt to user context. Our
comprehensive experiments on MovieLens, Amazon Review, and Google Local Review
datasets demonstrate significant performance gains across various tasks.
Notably, our approach outperforms text-prompt-based contextualization on long
sequence tasks and tasks that require deep user understanding while being
computationally efficient. We further incorporate Perceiver layers to
streamline the integration between user encoders and LLMs, reducing
computational demands.