User-LLM: Эффективная контекстуализация языковых моделей с использованием пользовательских эмбеддингов

User-LLM: Efficient LLM Contextualization with User Embeddings

February 21, 2024

Авторы: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant Prakash, Bradley Green, Shawn O'Banion, Jun Xie

cs.AI

Аннотация

Крупные языковые модели (LLM) произвели революцию в обработке естественного языка. Однако эффективное включение сложных и потенциально зашумленных данных пользовательского взаимодействия остается сложной задачей. Для решения этой проблемы мы предлагаем User-LLM — новую структуру, которая использует пользовательские эмбеддинги для контекстуализации LLM. Эти эмбеддинги, извлеченные из разнообразных пользовательских взаимодействий с помощью самоконтролируемого предобучения, фиксируют скрытые предпочтения пользователей и их эволюцию во времени. Мы интегрируем эти пользовательские эмбеддинги с LLM через механизмы кросс-внимания и мягкого промптинга, что позволяет LLM динамически адаптироваться к контексту пользователя. Наши всесторонние эксперименты на наборах данных MovieLens, Amazon Review и Google Local Review демонстрируют значительное улучшение производительности в различных задачах. В частности, наш подход превосходит контекстуализацию на основе текстовых промптов в задачах с длинными последовательностями и задачах, требующих глубокого понимания пользователя, при этом оставаясь вычислительно эффективным. Мы также интегрируем слои Perceiver для оптимизации взаимодействия между пользовательскими энкодерами и LLM, снижая вычислительные затраты.

English

Large language models (LLMs) have revolutionized natural language processing. However, effectively incorporating complex and potentially noisy user interaction data remains a challenge. To address this, we propose User-LLM, a novel framework that leverages user embeddings to contextualize LLMs. These embeddings, distilled from diverse user interactions using self-supervised pretraining, capture latent user preferences and their evolution over time. We integrate these user embeddings with LLMs through cross-attention and soft-prompting, enabling LLMs to dynamically adapt to user context. Our comprehensive experiments on MovieLens, Amazon Review, and Google Local Review datasets demonstrate significant performance gains across various tasks. Notably, our approach outperforms text-prompt-based contextualization on long sequence tasks and tasks that require deep user understanding while being computationally efficient. We further incorporate Perceiver layers to streamline the integration between user encoders and LLMs, reducing computational demands.