PraMem : Mémoire expérientielle dérivée de la pratique pour la prédiction de comportement à long horizon

Résumé

La prédiction de comportement à long horizon vise à déduire la prochaine action d'un utilisateur à partir d'une séquence historique longue, jouant un rôle crucial dans le domaine de l'intelligence artificielle. L'essor des grands modèles de langage (LLMs) offre une direction prometteuse pour la prédiction séquentielle de comportement, mais les LLMs peinent à induire des schémas comportementaux latents et souffrent de biais cognitifs inhérents au modèle lorsqu'ils abordent la prédiction de comportement à long horizon. Les méthodes antérieures de gestion de la mémoire suivent un paradigme de compression de contexte qui tente de résoudre cette tâche en allégeant la charge de la séquence historique, mais échouent à résoudre les défis fondamentaux. Dans cet article, nous préconisons un changement de paradigme qui reformule la longue séquence historique, passant d'un fardeau à une ressource précieuse à exploiter, et proposons en conséquence PraMem, qui effectue un entraînement préalable sur la longue séquence historique pour construire une mémoire expérientielle, servant ainsi d'entrée assistée pour une prédiction précise du comportement à long horizon. Des expériences approfondies sur diverses tâches démontrent que PraMem obtient des performances supérieures aux méthodes antérieures, et des analyses plus poussées fournissent des informations précieuses sur le mécanisme et l'évolution de la mémoire expérientielle. Code : https://github.com/icip-cas/PraMem.

English

Long-horizon behavior prediction aims to infer a user's next action based on a lengthy historical sequence, playing a crucial role in artificial intelligence field. The rise of large language models (LLMs) offers a promising direction for sequential behavior prediction, yet LLMs struggle with latent behavioral pattern induction and model-intrinsic cognitive biases when tackling long-horizon behavior prediction. Prior memory management methods follow a context-compression paradigm that attempts to address this task by alleviating the historical sequence burden, yet fail to resolve the core challenges. In this paper, we advocate a paradigm shift that reframes the lengthy historical sequence from a burden into a valuable resource to be exploited, and accordingly propose PraMem, which conducts beforehand practice over the lengthy historical sequence to build an experiential memory, thereby serving as the assisted input for accurate long-horizon behavior prediction. Extensive experiments across diverse tasks demonstrate that PraMem achieves superior performance than prior methods, and more in-depth analyses provide valuable insights into the mechanism and evolution of the experiential memory. Code: https://github.com/icip-cas/PraMem.