User-LLM: Contextualização Eficiente de LLMs com Embeddings de Usuário

User-LLM: Efficient LLM Contextualization with User Embeddings

February 21, 2024

Autores: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant Prakash, Bradley Green, Shawn O'Banion, Jun Xie

cs.AI

Resumo

Os modelos de linguagem de grande escala (LLMs) revolucionaram o processamento de linguagem natural. No entanto, incorporar de forma eficaz dados de interação do usuário complexos e potencialmente ruidosos continua sendo um desafio. Para abordar isso, propomos o User-LLM, uma nova estrutura que utiliza embeddings de usuário para contextualizar LLMs. Esses embeddings, extraídos de diversas interações do usuário por meio de pré-treinamento auto-supervisionado, capturam preferências latentes do usuário e sua evolução ao longo do tempo. Integramos esses embeddings de usuário com LLMs por meio de atenção cruzada e soft-prompting, permitindo que os LLMs se adaptem dinamicamente ao contexto do usuário. Nossos experimentos abrangentes nos conjuntos de dados MovieLens, Amazon Review e Google Local Review demonstram ganhos significativos de desempenho em várias tarefas. Notavelmente, nossa abordagem supera a contextualização baseada em prompts de texto em tarefas de sequência longa e tarefas que exigem um profundo entendimento do usuário, ao mesmo tempo em que é computacionalmente eficiente. Além disso, incorporamos camadas Perceiver para simplificar a integração entre codificadores de usuário e LLMs, reduzindo as demandas computacionais.

English

Large language models (LLMs) have revolutionized natural language processing. However, effectively incorporating complex and potentially noisy user interaction data remains a challenge. To address this, we propose User-LLM, a novel framework that leverages user embeddings to contextualize LLMs. These embeddings, distilled from diverse user interactions using self-supervised pretraining, capture latent user preferences and their evolution over time. We integrate these user embeddings with LLMs through cross-attention and soft-prompting, enabling LLMs to dynamically adapt to user context. Our comprehensive experiments on MovieLens, Amazon Review, and Google Local Review datasets demonstrate significant performance gains across various tasks. Notably, our approach outperforms text-prompt-based contextualization on long sequence tasks and tasks that require deep user understanding while being computationally efficient. We further incorporate Perceiver layers to streamline the integration between user encoders and LLMs, reducing computational demands.