User-LLM: Efficiënte Contextualisering van LLM's met Gebruikersembeddingen

User-LLM: Efficient LLM Contextualization with User Embeddings

February 21, 2024

Auteurs: Lin Ning, Luyang Liu, Jiaxing Wu, Neo Wu, Devora Berlowitz, Sushant Prakash, Bradley Green, Shawn O'Banion, Jun Xie

cs.AI

Samenvatting

Grote taalmmodellen (LLMs) hebben een revolutie teweeggebracht in natuurlijke taalverwerking. Het effectief integreren van complexe en potentieel ruwe gebruikersinteractiedata blijft echter een uitdaging. Om dit aan te pakken, stellen we User-LLM voor, een nieuw framework dat gebruikersembeddingen benut om LLMs te contextualiseren. Deze embeddingen, gedestilleerd uit diverse gebruikersinteracties via zelfsupervised pretraining, vangen latente gebruikersvoorkeuren en hun evolutie in de tijd. We integreren deze gebruikersembeddingen met LLMs door middel van cross-attention en soft-prompting, waardoor LLMs zich dynamisch kunnen aanpassen aan de gebruikerscontext. Onze uitgebreide experimenten op de MovieLens, Amazon Review en Google Local Review datasets tonen aanzienlijke prestatieverbeteringen aan over verschillende taken. Opmerkelijk is dat onze aanpak tekstprompt-gebaseerde contextualisatie overtreft bij taken met lange sequenties en taken die een diepgaand gebruikersbegrip vereisen, terwijl het computationeel efficiënt blijft. We integreren verder Perceiver-lagen om de integratie tussen gebruikersencoders en LLMs te stroomlijnen, waardoor de computationele eisen worden verminderd.

English

Large language models (LLMs) have revolutionized natural language processing. However, effectively incorporating complex and potentially noisy user interaction data remains a challenge. To address this, we propose User-LLM, a novel framework that leverages user embeddings to contextualize LLMs. These embeddings, distilled from diverse user interactions using self-supervised pretraining, capture latent user preferences and their evolution over time. We integrate these user embeddings with LLMs through cross-attention and soft-prompting, enabling LLMs to dynamically adapt to user context. Our comprehensive experiments on MovieLens, Amazon Review, and Google Local Review datasets demonstrate significant performance gains across various tasks. Notably, our approach outperforms text-prompt-based contextualization on long sequence tasks and tasks that require deep user understanding while being computationally efficient. We further incorporate Perceiver layers to streamline the integration between user encoders and LLMs, reducing computational demands.