PraMem: Memoria Experiencial Derivada de la Práctica para la Predicción de Comportamiento a Largo Plazo

Resumen

La predicción del comportamiento a largo plazo tiene como objetivo inferir la próxima acción de un usuario basándose en una secuencia histórica extensa, desempeñando un papel crucial en el campo de la inteligencia artificial. El auge de los grandes modelos de lenguaje (LLMs) ofrece una dirección prometedora para la predicción del comportamiento secuencial, pero los LLMs tienen dificultades con la inducción de patrones de comportamiento latentes y los sesgos cognitivos intrínsecos del modelo al abordar la predicción del comportamiento a largo plazo. Los métodos previos de gestión de memoria siguen un paradigma de compresión de contexto que intenta abordar esta tarea aliviando la carga de la secuencia histórica, pero no logran resolver los desafíos fundamentales. En este artículo, abogamos por un cambio de paradigma que reformula la larga secuencia histórica de una carga a un recurso valioso que debe ser explotado, y en consecuencia proponemos PraMem, que realiza una práctica previa sobre la larga secuencia histórica para construir una memoria experiencial, sirviendo así como entrada asistida para una predicción precisa del comportamiento a largo plazo. Extensos experimentos en diversas tareas demuestran que PraMem logra un rendimiento superior al de métodos anteriores, y análisis más profundos proporcionan información valiosa sobre el mecanismo y la evolución de la memoria experiencial. Código: https://github.com/icip-cas/PraMem.

English

Long-horizon behavior prediction aims to infer a user's next action based on a lengthy historical sequence, playing a crucial role in artificial intelligence field. The rise of large language models (LLMs) offers a promising direction for sequential behavior prediction, yet LLMs struggle with latent behavioral pattern induction and model-intrinsic cognitive biases when tackling long-horizon behavior prediction. Prior memory management methods follow a context-compression paradigm that attempts to address this task by alleviating the historical sequence burden, yet fail to resolve the core challenges. In this paper, we advocate a paradigm shift that reframes the lengthy historical sequence from a burden into a valuable resource to be exploited, and accordingly propose PraMem, which conducts beforehand practice over the lengthy historical sequence to build an experiential memory, thereby serving as the assisted input for accurate long-horizon behavior prediction. Extensive experiments across diverse tasks demonstrate that PraMem achieves superior performance than prior methods, and more in-depth analyses provide valuable insights into the mechanism and evolution of the experiential memory. Code: https://github.com/icip-cas/PraMem.