PraMem: Экспериенциальная память, формируемая на основе практики, для долгосрочного прогнозирования поведения

Аннотация

Прогнозирование долгосрочного поведения направлено на вывод следующего действия пользователя на основе длинной исторической последовательности, что играет ключевую роль в области искусственного интеллекта. Развитие больших языковых моделей (БЯМ) открывает многообещающее направление для последовательного прогнозирования поведения, однако БЯМ сталкиваются с трудностями при индукции скрытых поведенческих паттернов и когнитивными искажениями, присущими модели, при решении задач долгосрочного прогнозирования. Предыдущие методы управления памятью следуют парадигме сжатия контекста, пытаясь решить эту задачу за счет снижения нагрузки на историческую последовательность, однако не устраняют основные проблемы. В данной статье мы предлагаем смену парадигмы, переосмысливая длинную историческую последовательность не как бремя, а как ценный ресурс для использования, и соответственно представляем PraMem, который проводит предварительную обработку длинной исторической последовательности для построения эмпирической памяти, служащей вспомогательным входом для точного долгосрочного прогнозирования поведения. Обширные эксперименты на различных задачах показывают, что PraMem достигает превосходных результатов по сравнению с предыдущими методами, а более глубокий анализ дает ценные сведения о механизмах и эволюции эмпирической памяти. Код: https://github.com/icip-cas/PraMem.

English

Long-horizon behavior prediction aims to infer a user's next action based on a lengthy historical sequence, playing a crucial role in artificial intelligence field. The rise of large language models (LLMs) offers a promising direction for sequential behavior prediction, yet LLMs struggle with latent behavioral pattern induction and model-intrinsic cognitive biases when tackling long-horizon behavior prediction. Prior memory management methods follow a context-compression paradigm that attempts to address this task by alleviating the historical sequence burden, yet fail to resolve the core challenges. In this paper, we advocate a paradigm shift that reframes the lengthy historical sequence from a burden into a valuable resource to be exploited, and accordingly propose PraMem, which conducts beforehand practice over the lengthy historical sequence to build an experiential memory, thereby serving as the assisted input for accurate long-horizon behavior prediction. Extensive experiments across diverse tasks demonstrate that PraMem achieves superior performance than prior methods, and more in-depth analyses provide valuable insights into the mechanism and evolution of the experiential memory. Code: https://github.com/icip-cas/PraMem.