PraMem: Memória Experiencial Derivada da Prática para Predição de Comportamento de Longo Horizonte

Resumo

A predição de comportamento de longo horizonte tem como objetivo inferir a próxima ação de um usuário com base em uma longa sequência histórica, desempenhando um papel crucial no campo da inteligência artificial. O surgimento dos modelos de linguagem de grande porte (LLMs) oferece uma direção promissora para a predição sequencial de comportamento; no entanto, os LLMs enfrentam dificuldades na indução de padrões comportamentais latentes e em vieses cognitivos intrínsecos ao modelo ao lidar com predição de comportamento de longo horizonte. Métodos anteriores de gerenciamento de memória seguem um paradigma de compressão de contexto que tenta abordar essa tarefa aliviando a carga das sequências históricas, mas não conseguem resolver os desafios centrais. Neste artigo, defendemos uma mudança de paradigma que reformula a longa sequência histórica de um fardo para um recurso valioso a ser explorado e, consequentemente, propomos o PraMem, que conduz uma prática prévia sobre a longa sequência histórica para construir uma memória experiencial, servindo assim como entrada assistida para predição precisa de comportamento de longo horizonte. Experimentos extensivos em diversas tarefas demonstram que o PraMem alcança desempenho superior aos métodos anteriores, e análises mais aprofundadas fornecem insights valiosos sobre o mecanismo e a evolução da memória experiencial. Código: https://github.com/icip-cas/PraMem.

English

Long-horizon behavior prediction aims to infer a user's next action based on a lengthy historical sequence, playing a crucial role in artificial intelligence field. The rise of large language models (LLMs) offers a promising direction for sequential behavior prediction, yet LLMs struggle with latent behavioral pattern induction and model-intrinsic cognitive biases when tackling long-horizon behavior prediction. Prior memory management methods follow a context-compression paradigm that attempts to address this task by alleviating the historical sequence burden, yet fail to resolve the core challenges. In this paper, we advocate a paradigm shift that reframes the lengthy historical sequence from a burden into a valuable resource to be exploited, and accordingly propose PraMem, which conducts beforehand practice over the lengthy historical sequence to build an experiential memory, thereby serving as the assisted input for accurate long-horizon behavior prediction. Extensive experiments across diverse tasks demonstrate that PraMem achieves superior performance than prior methods, and more in-depth analyses provide valuable insights into the mechanism and evolution of the experiential memory. Code: https://github.com/icip-cas/PraMem.