User-LLM: Contestualizzazione Efficiente di LLM con Embedding Utente

User-LLM: Efficient LLM Contextualization with User Embeddings

February 21, 2024

Autori: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant Prakash, Bradley Green, Shawn O'Banion, Jun Xie

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno rivoluzionato l'elaborazione del linguaggio naturale. Tuttavia, incorporare efficacemente dati complessi e potenzialmente rumorosi provenienti dalle interazioni degli utenti rimane una sfida. Per affrontare questo problema, proponiamo User-LLM, un nuovo framework che sfrutta gli embedding degli utenti per contestualizzare gli LLM. Questi embedding, distillati da diverse interazioni degli utenti utilizzando il pretraining auto-supervisionato, catturano le preferenze latenti degli utenti e la loro evoluzione nel tempo. Integriamo questi embedding degli utenti con gli LLM attraverso meccanismi di cross-attention e soft-prompting, consentendo agli LLM di adattarsi dinamicamente al contesto dell'utente. I nostri esperimenti completi sui dataset MovieLens, Amazon Review e Google Local Review dimostrano significativi miglioramenti delle prestazioni in vari compiti. In particolare, il nostro approccio supera la contestualizzazione basata su prompt di testo nei compiti con sequenze lunghe e nei compiti che richiedono una profonda comprensione dell'utente, pur essendo computazionalmente efficiente. Inoltre, incorporiamo strati Perceiver per semplificare l'integrazione tra gli encoder degli utenti e gli LLM, riducendo le richieste computazionali.

English

Large language models (LLMs) have revolutionized natural language processing. However, effectively incorporating complex and potentially noisy user interaction data remains a challenge. To address this, we propose User-LLM, a novel framework that leverages user embeddings to contextualize LLMs. These embeddings, distilled from diverse user interactions using self-supervised pretraining, capture latent user preferences and their evolution over time. We integrate these user embeddings with LLMs through cross-attention and soft-prompting, enabling LLMs to dynamically adapt to user context. Our comprehensive experiments on MovieLens, Amazon Review, and Google Local Review datasets demonstrate significant performance gains across various tasks. Notably, our approach outperforms text-prompt-based contextualization on long sequence tasks and tasks that require deep user understanding while being computationally efficient. We further incorporate Perceiver layers to streamline the integration between user encoders and LLMs, reducing computational demands.