Démêler la complexité de la mémoire dans les agents de RL : une approche pour la classification et l'évaluation

Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation

December 9, 2024

Auteurs: Egor Cherepanov, Nikita Kachaev, Artem Zholus, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Résumé

L'incorporation de la mémoire dans les agents est essentielle pour de nombreuses tâches dans le domaine de l'Apprentissage par Renforcement (RL). En particulier, la mémoire est primordiale pour les tâches qui nécessitent l'utilisation d'informations passées, l'adaptation à des environnements nouveaux et l'amélioration de l'efficacité des échantillons. Cependant, le terme "mémoire" englobe un large éventail de concepts, ce qui, associé à l'absence d'une méthodologie unifiée pour valider la mémoire d'un agent, conduit à des jugements erronés sur les capacités mnésiques des agents et empêche une comparaison objective avec d'autres agents renforcés par la mémoire. Cet article vise à rationaliser le concept de mémoire en RL en fournissant des définitions précises et pratiques des types de mémoire des agents, tels que la mémoire à long terme par rapport à la mémoire à court terme et la mémoire déclarative par rapport à la mémoire procédurale, inspirées des sciences cognitives. En utilisant ces définitions, nous catégorisons différentes classes de mémoire des agents, proposons une méthodologie expérimentale robuste pour évaluer les capacités mnésiques des agents RL et standardisons les évaluations. De plus, nous démontrons empiriquement l'importance de respecter la méthodologie proposée lors de l'évaluation des différents types de mémoire des agents en menant des expériences avec différents agents RL et en montrant les conséquences de sa violation.

English

The incorporation of memory into agents is essential for numerous tasks within the domain of Reinforcement Learning (RL). In particular, memory is paramount for tasks that require the utilization of past information, adaptation to novel environments, and improved sample efficiency. However, the term ``memory'' encompasses a wide range of concepts, which, coupled with the lack of a unified methodology for validating an agent's memory, leads to erroneous judgments about agents' memory capabilities and prevents objective comparison with other memory-enhanced agents. This paper aims to streamline the concept of memory in RL by providing practical precise definitions of agent memory types, such as long-term versus short-term memory and declarative versus procedural memory, inspired by cognitive science. Using these definitions, we categorize different classes of agent memory, propose a robust experimental methodology for evaluating the memory capabilities of RL agents, and standardize evaluations. Furthermore, we empirically demonstrate the importance of adhering to the proposed methodology when evaluating different types of agent memory by conducting experiments with different RL agents and what its violation leads to.