사용자 임베딩을 통한 효율적인 LLM 문맥화

User-LLM: Efficient LLM Contextualization with User Embeddings

February 21, 2024

저자: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant Prakash, Bradley Green, Shawn O'Banion, Jun Xie

cs.AI

초록

대규모 언어 모델(LLMs)은 자연어 처리 분야에 혁신을 가져왔습니다. 그러나 복잡하고 잡음이 포함될 수 있는 사용자 상호작용 데이터를 효과적으로 통합하는 것은 여전히 과제로 남아 있습니다. 이를 해결하기 위해, 우리는 사용자 임베딩을 활용하여 LLMs를 상황에 맞게 조정하는 새로운 프레임워크인 User-LLM을 제안합니다. 이러한 임베딩은 자기 지도 사전 학습을 통해 다양한 사용자 상호작용에서 추출되며, 잠재적인 사용자 선호도와 시간에 따른 변화를 포착합니다. 우리는 이러한 사용자 임베딩을 교차 주의(cross-attention)와 소프트 프롬프팅(soft-prompting)을 통해 LLMs와 통합함으로써, LLMs가 사용자 상황에 동적으로 적응할 수 있도록 합니다. MovieLens, Amazon Review, Google Local Review 데이터셋에 대한 포괄적인 실험을 통해 다양한 작업에서 상당한 성능 향상을 입증했습니다. 특히, 우리의 접근 방식은 긴 시퀀스 작업과 깊은 사용자 이해가 필요한 작업에서 텍스트 프롬프트 기반 상황화를 능가하면서도 계산적으로 효율적입니다. 또한, Perceiver 레이어를 통합하여 사용자 인코더와 LLMs 간의 통합을 간소화하고 계산 요구를 줄였습니다.

English

Large language models (LLMs) have revolutionized natural language processing. However, effectively incorporating complex and potentially noisy user interaction data remains a challenge. To address this, we propose User-LLM, a novel framework that leverages user embeddings to contextualize LLMs. These embeddings, distilled from diverse user interactions using self-supervised pretraining, capture latent user preferences and their evolution over time. We integrate these user embeddings with LLMs through cross-attention and soft-prompting, enabling LLMs to dynamically adapt to user context. Our comprehensive experiments on MovieLens, Amazon Review, and Google Local Review datasets demonstrate significant performance gains across various tasks. Notably, our approach outperforms text-prompt-based contextualization on long sequence tasks and tasks that require deep user understanding while being computationally efficient. We further incorporate Perceiver layers to streamline the integration between user encoders and LLMs, reducing computational demands.