PraMem: Praxisabgeleitetes Erfahrungsgedächtnis für die Vorhersage von Verhalten über lange Horizonte

Zusammenfassung

Die Vorhersage von Verhalten über lange Zeithorizonte zielt darauf ab, die nächste Aktion eines Nutzers auf der Grundlage einer langen historischen Sequenz abzuleiten und spielt eine entscheidende Rolle im Bereich der künstlichen Intelligenz. Der Aufstieg großer Sprachmodelle (LLMs) bietet eine vielversprechende Richtung für die sequenzielle Verhaltensvorhersage, doch LLMs haben Schwierigkeiten mit der Induktion latenter Verhaltensmuster und modellinhärenten kognitiven Verzerrungen, wenn sie die Vorhersage von Verhalten über lange Zeithorizonte angehen. Bisherige Methoden des Speichermanagements folgen einem Kontextkompressionsparadigma, das versucht, diese Aufgabe durch die Entlastung der historischen Sequenz zu bewältigen, löst jedoch die zentralen Herausforderungen nicht. In diesem Papier plädieren wir für einen Paradigmenwechsel, der die lange historische Sequenz von einer Belastung in eine wertvolle Ressource umdeutet, die es zu nutzen gilt. Dementsprechend schlagen wir PraMem vor, das eine vorherige Übung an der langen historischen Sequenz durchführt, um einen erfahrungsbasierten Speicher aufzubauen, der als unterstützende Eingabe für eine genaue Vorhersage von Verhalten über lange Zeithorizonte dient. Umfangreiche Experimente zu verschiedenen Aufgaben zeigen, dass PraMem eine überlegene Leistung gegenüber früheren Methoden erzielt, und tiefere Analysen liefern wertvolle Einblicke in den Mechanismus und die Entwicklung des erfahrungsbasierten Speichers. Code: https://github.com/icip-cas/PraMem.

English

Long-horizon behavior prediction aims to infer a user's next action based on a lengthy historical sequence, playing a crucial role in artificial intelligence field. The rise of large language models (LLMs) offers a promising direction for sequential behavior prediction, yet LLMs struggle with latent behavioral pattern induction and model-intrinsic cognitive biases when tackling long-horizon behavior prediction. Prior memory management methods follow a context-compression paradigm that attempts to address this task by alleviating the historical sequence burden, yet fail to resolve the core challenges. In this paper, we advocate a paradigm shift that reframes the lengthy historical sequence from a burden into a valuable resource to be exploited, and accordingly propose PraMem, which conducts beforehand practice over the lengthy historical sequence to build an experiential memory, thereby serving as the assisted input for accurate long-horizon behavior prediction. Extensive experiments across diverse tasks demonstrate that PraMem achieves superior performance than prior methods, and more in-depth analyses provide valuable insights into the mechanism and evolution of the experiential memory. Code: https://github.com/icip-cas/PraMem.