Desentrañando la Complejidad de la Memoria en Agentes de RL: un Enfoque para Clasificación y Evaluación

Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation

December 9, 2024

Autores: Egor Cherepanov, Nikita Kachaev, Artem Zholus, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Resumen

La incorporación de memoria en agentes es esencial para numerosas tareas dentro del ámbito del Aprendizaje por Refuerzo (RL). En particular, la memoria es fundamental para tareas que requieren la utilización de información pasada, adaptación a entornos novedosos y una mayor eficiencia en el uso de muestras. Sin embargo, el término "memoria" abarca una amplia gama de conceptos, lo cual, junto con la falta de una metodología unificada para validar la memoria de un agente, conduce a juicios erróneos sobre las capacidades de memoria de los agentes y evita la comparación objetiva con otros agentes mejorados con memoria. Este documento tiene como objetivo racionalizar el concepto de memoria en RL proporcionando definiciones precisas y prácticas de tipos de memoria de agentes, como memoria a largo plazo versus memoria a corto plazo y memoria declarativa versus memoria procedural, inspiradas en la ciencia cognitiva. Utilizando estas definiciones, categorizamos diferentes clases de memoria de agentes, proponemos una metodología experimental sólida para evaluar las capacidades de memoria de los agentes de RL y estandarizamos las evaluaciones. Además, demostramos empíricamente la importancia de adherirse a la metodología propuesta al evaluar diferentes tipos de memoria de agentes mediante la realización de experimentos con diferentes agentes de RL y las consecuencias de su violación.

English

The incorporation of memory into agents is essential for numerous tasks within the domain of Reinforcement Learning (RL). In particular, memory is paramount for tasks that require the utilization of past information, adaptation to novel environments, and improved sample efficiency. However, the term ``memory'' encompasses a wide range of concepts, which, coupled with the lack of a unified methodology for validating an agent's memory, leads to erroneous judgments about agents' memory capabilities and prevents objective comparison with other memory-enhanced agents. This paper aims to streamline the concept of memory in RL by providing practical precise definitions of agent memory types, such as long-term versus short-term memory and declarative versus procedural memory, inspired by cognitive science. Using these definitions, we categorize different classes of agent memory, propose a robust experimental methodology for evaluating the memory capabilities of RL agents, and standardize evaluations. Furthermore, we empirically demonstrate the importance of adhering to the proposed methodology when evaluating different types of agent memory by conducting experiments with different RL agents and what its violation leads to.