Desvendando a Complexidade da Memória em Agentes de RL: uma Abordagem para Classificação e Avaliação

Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation

December 9, 2024

Autores: Egor Cherepanov, Nikita Kachaev, Artem Zholus, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Resumo

A incorporação de memória em agentes é essencial para inúmeras tarefas no domínio do Aprendizado por Reforço (RL). Em particular, a memória é fundamental para tarefas que exigem a utilização de informações passadas, adaptação a ambientes novos e melhoria na eficiência de amostragem. No entanto, o termo "memória" engloba uma ampla gama de conceitos, o que, juntamente com a falta de uma metodologia unificada para validar a memória de um agente, leva a julgamentos errôneos sobre as capacidades de memória dos agentes e impede a comparação objetiva com outros agentes aprimorados com memória. Este artigo tem como objetivo simplificar o conceito de memória em RL, fornecendo definições precisas e práticas de tipos de memória de agentes, como memória de longo prazo versus memória de curto prazo e memória declarativa versus memória procedural, inspiradas na ciência cognitiva. Utilizando essas definições, categorizamos diferentes classes de memória de agentes, propomos uma metodologia experimental robusta para avaliar as capacidades de memória de agentes de RL e padronizamos as avaliações. Além disso, demonstramos empiricamente a importância de seguir a metodologia proposta ao avaliar diferentes tipos de memória de agentes, conduzindo experimentos com diferentes agentes de RL e mostrando as consequências de sua violação.

English

The incorporation of memory into agents is essential for numerous tasks within the domain of Reinforcement Learning (RL). In particular, memory is paramount for tasks that require the utilization of past information, adaptation to novel environments, and improved sample efficiency. However, the term ``memory'' encompasses a wide range of concepts, which, coupled with the lack of a unified methodology for validating an agent's memory, leads to erroneous judgments about agents' memory capabilities and prevents objective comparison with other memory-enhanced agents. This paper aims to streamline the concept of memory in RL by providing practical precise definitions of agent memory types, such as long-term versus short-term memory and declarative versus procedural memory, inspired by cognitive science. Using these definitions, we categorize different classes of agent memory, propose a robust experimental methodology for evaluating the memory capabilities of RL agents, and standardize evaluations. Furthermore, we empirically demonstrate the importance of adhering to the proposed methodology when evaluating different types of agent memory by conducting experiments with different RL agents and what its violation leads to.