PraMem: 연습 기반 경험적 기억을 활용한 장기 행동 예측

초록

장기 행동 예측은 긴 과거 시퀀스를 기반으로 사용자의 다음 행동을 추론하는 것을 목표로 하며, 인공지능 분야에서 중요한 역할을 한다. 대규모 언어 모델(LLM)의 부상은 순차적 행동 예측을 위한 유망한 방향을 제시하지만, LLM은 장기 행동 예측을 다룰 때 잠재적 행동 패턴 유도와 모델 내재적 인지 편향에서 어려움을 겪는다. 기존의 메모리 관리 방법은 맥락 압축 패러다임을 따라 이 과제를 과거 시퀀스 부담을 완화함으로써 해결하려 하지만, 핵심적인 도전 과제를 해결하지는 못한다. 본 논문에서는 긴 과거 시퀀스를 부담에서 활용해야 할 가치 있는 자원으로 재구성하는 패러다임 전환을 주장하며, 이에 따라 긴 과거 시퀀스에 대한 사전 연습을 통해 경험적 메모리를 구축하여 정확한 장기 행동 예측을 위한 보조 입력으로 활용하는 PraMem을 제안한다. 다양한 과제에 걸친 광범위한 실험은 PraMem이 기존 방법보다 우수한 성능을 달성함을 보여주며, 더 깊이 있는 분석은 경험적 메모리의 메커니즘과 진화에 대한 귀중한 통찰력을 제공한다. 코드: https://github.com/icip-cas/PraMem.

English

Long-horizon behavior prediction aims to infer a user's next action based on a lengthy historical sequence, playing a crucial role in artificial intelligence field. The rise of large language models (LLMs) offers a promising direction for sequential behavior prediction, yet LLMs struggle with latent behavioral pattern induction and model-intrinsic cognitive biases when tackling long-horizon behavior prediction. Prior memory management methods follow a context-compression paradigm that attempts to address this task by alleviating the historical sequence burden, yet fail to resolve the core challenges. In this paper, we advocate a paradigm shift that reframes the lengthy historical sequence from a burden into a valuable resource to be exploited, and accordingly propose PraMem, which conducts beforehand practice over the lengthy historical sequence to build an experiential memory, thereby serving as the assisted input for accurate long-horizon behavior prediction. Extensive experiments across diverse tasks demonstrate that PraMem achieves superior performance than prior methods, and more in-depth analyses provide valuable insights into the mechanism and evolution of the experiential memory. Code: https://github.com/icip-cas/PraMem.