PraMem: Praktijkgebaseerd ervaringsgeheugen voor gedragspredictie over lange horizon

Samenvatting

Gedragsvoorspelling op lange termijn heeft tot doel de volgende actie van een gebruiker af te leiden op basis van een lange historische reeks en speelt een cruciale rol in het veld van kunstmatige intelligentie. De opkomst van grote taalmodellen (LLMs) biedt een veelbelovende richting voor sequentiële gedragsvoorspelling, maar LLMs hebben moeite met het induceren van latente gedragspatronen en modelspecifieke cognitieve vooroordelen bij het aanpakken van gedragsvoorspelling op lange termijn. Eerdere methoden voor geheugenbeheer volgen een contextcompressieparadigma dat probeert deze taak aan te pakken door de last van de historische reeks te verlichten, maar slagen er niet in de kernuitdagingen op te lossen. In dit artikel pleiten we voor een paradigmaverschuiving die de lange historische reeks herformuleert van een last naar een waardevolle hulpbron die moet worden benut, en stellen we dienovereenkomstig PraMem voor, dat voorafgaande oefening uitvoert over de lange historische reeks om een ervaringsgeheugen op te bouwen, dat dient als ondersteunde input voor nauwkeurige gedragsvoorspelling op lange termijn. Uitgebreide experimenten over diverse taken tonen aan dat PraMem superieure prestaties levert in vergelijking met eerdere methoden, en diepgaandere analyses bieden waardevolle inzichten in het mechanisme en de evolutie van het ervaringsgeheugen. Code: https://github.com/icip-cas/PraMem.

English

Long-horizon behavior prediction aims to infer a user's next action based on a lengthy historical sequence, playing a crucial role in artificial intelligence field. The rise of large language models (LLMs) offers a promising direction for sequential behavior prediction, yet LLMs struggle with latent behavioral pattern induction and model-intrinsic cognitive biases when tackling long-horizon behavior prediction. Prior memory management methods follow a context-compression paradigm that attempts to address this task by alleviating the historical sequence burden, yet fail to resolve the core challenges. In this paper, we advocate a paradigm shift that reframes the lengthy historical sequence from a burden into a valuable resource to be exploited, and accordingly propose PraMem, which conducts beforehand practice over the lengthy historical sequence to build an experiential memory, thereby serving as the assisted input for accurate long-horizon behavior prediction. Extensive experiments across diverse tasks demonstrate that PraMem achieves superior performance than prior methods, and more in-depth analyses provide valuable insights into the mechanism and evolution of the experiential memory. Code: https://github.com/icip-cas/PraMem.