ユーザー-LLM: ユーザー埋め込みを用いた効率的なLLM文脈化

User-LLM: Efficient LLM Contextualization with User Embeddings

February 21, 2024

著者: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant Prakash, Bradley Green, Shawn O'Banion, Jun Xie

cs.AI

要旨

大規模言語モデル（LLM）は自然言語処理に革命をもたらしました。しかし、複雑でノイズを含む可能性のあるユーザーインタラクションデータを効果的に組み込むことは依然として課題です。この問題に対処するため、我々はユーザー埋め込みを活用してLLMを文脈化する新しいフレームワーク「User-LLM」を提案します。これらの埋め込みは、自己教師あり事前学習を用いて多様なユーザーインタラクションから抽出され、潜在的なユーザー選好とその時間的変化を捉えます。我々は、これらのユーザー埋め込みをLLMとクロスアテンションおよびソフトプロンプティングを通じて統合し、LLMがユーザーコンテキストに動的に適応できるようにします。MovieLens、Amazon Review、Google Local Reviewデータセットでの包括的な実験により、様々なタスクで大幅な性能向上が実証されました。特に、長いシーケンスタスクや深いユーザー理解を必要とするタスクにおいて、テキストプロンプトベースの文脈化を上回りながら、計算効率も良好です。さらに、Perceiverレイヤーを組み込むことで、ユーザーエンコーダーとLLMの統合を効率化し、計算負荷を削減しました。

English

Large language models (LLMs) have revolutionized natural language processing. However, effectively incorporating complex and potentially noisy user interaction data remains a challenge. To address this, we propose User-LLM, a novel framework that leverages user embeddings to contextualize LLMs. These embeddings, distilled from diverse user interactions using self-supervised pretraining, capture latent user preferences and their evolution over time. We integrate these user embeddings with LLMs through cross-attention and soft-prompting, enabling LLMs to dynamically adapt to user context. Our comprehensive experiments on MovieLens, Amazon Review, and Google Local Review datasets demonstrate significant performance gains across various tasks. Notably, our approach outperforms text-prompt-based contextualization on long sequence tasks and tasks that require deep user understanding while being computationally efficient. We further incorporate Perceiver layers to streamline the integration between user encoders and LLMs, reducing computational demands.