PraMem: 実践由来の経験記憶による長期行動予測

要旨

長期的行動予測は、長期間の履歴系列に基づいてユーザの次の行動を推測することを目的とし、人工知能分野において重要な役割を果たす。大規模言語モデル（LLM）の台頭は、系列行動予測に有望な方向性をもたらしたが、LLMは長期的行動予測に取り組む際、潜在的な行動パターンの誘導やモデル固有の認知バイアスに課題を抱えている。従来のメモリ管理手法は、コンテキスト圧縮パラダイムに従い、履歴系列の負荷を軽減することでこのタスクに対処しようとしてきたが、核心的な課題を解決するには至っていない。本論文では、長期間の履歴系列を負荷から活用すべき貴重なリソースへと再定義するパラダイムシフトを提唱し、それに基づきPraMemを提案する。PraMemは長期間の履歴系列に対して事前演習を行い、経験的記憶を構築し、それを補助入力として正確な長期的行動予測を実現する。多様なタスクにわたる大規模な実験により、PraMemは従来手法よりも優れた性能を達成し、さらに詳細な分析によって経験的記憶のメカニズムと進化に関する貴重な洞察が得られた。コード: https://github.com/icip-cas/PraMem。

English

Long-horizon behavior prediction aims to infer a user's next action based on a lengthy historical sequence, playing a crucial role in artificial intelligence field. The rise of large language models (LLMs) offers a promising direction for sequential behavior prediction, yet LLMs struggle with latent behavioral pattern induction and model-intrinsic cognitive biases when tackling long-horizon behavior prediction. Prior memory management methods follow a context-compression paradigm that attempts to address this task by alleviating the historical sequence burden, yet fail to resolve the core challenges. In this paper, we advocate a paradigm shift that reframes the lengthy historical sequence from a burden into a valuable resource to be exploited, and accordingly propose PraMem, which conducts beforehand practice over the lengthy historical sequence to build an experiential memory, thereby serving as the assisted input for accurate long-horizon behavior prediction. Extensive experiments across diverse tasks demonstrate that PraMem achieves superior performance than prior methods, and more in-depth analyses provide valuable insights into the mechanism and evolution of the experiential memory. Code: https://github.com/icip-cas/PraMem.