RL エージェントのメモリの複雑さを解明する：分類と評価のアプローチ

Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation

December 9, 2024

著者: Egor Cherepanov, Nikita Kachaev, Artem Zholus, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

要旨

エージェントにメモリを組み込むことは、強化学習（RL）の領域内の多くのタスクにとって不可欠です。特に、メモリは、過去の情報の利用、新しい環境への適応、およびサンプル効率の向上が必要なタスクにとって極めて重要です。ただし、「メモリ」という用語は幅広い概念を含んでおり、エージェントのメモリを検証するための統一された方法論の欠如が、エージェントのメモリ能力に関する誤った判断を招き、他のメモリ強化エージェントとの客観的な比較を妨げています。本論文では、認知科学に触発された長期メモリと短期メモリ、宣言的メモリと手続き的メモリなどのエージェントメモリの具体的な定義を提供することで、RLにおけるメモリの概念を整理しようとしています。これらの定義を用いて、異なる種類のエージェントメモリを分類し、RLエージェントのメモリ能力を評価するための堅牢な実験方法論を提案し、評価を標準化します。さらに、異なる種類のエージェントメモリを評価する際に提案された方法論に従う重要性を実証するために、異なるRLエージェントで実験を行い、その違反がもたらす影響を示します。

English

The incorporation of memory into agents is essential for numerous tasks within the domain of Reinforcement Learning (RL). In particular, memory is paramount for tasks that require the utilization of past information, adaptation to novel environments, and improved sample efficiency. However, the term ``memory'' encompasses a wide range of concepts, which, coupled with the lack of a unified methodology for validating an agent's memory, leads to erroneous judgments about agents' memory capabilities and prevents objective comparison with other memory-enhanced agents. This paper aims to streamline the concept of memory in RL by providing practical precise definitions of agent memory types, such as long-term versus short-term memory and declarative versus procedural memory, inspired by cognitive science. Using these definitions, we categorize different classes of agent memory, propose a robust experimental methodology for evaluating the memory capabilities of RL agents, and standardize evaluations. Furthermore, we empirically demonstrate the importance of adhering to the proposed methodology when evaluating different types of agent memory by conducting experiments with different RL agents and what its violation leads to.