Het Ontwarren van de Complexiteit van Geheugen in RL-Agenten: een Benadering voor Classificatie en Evaluatie

Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation

December 9, 2024

Auteurs: Egor Cherepanov, Nikita Kachaev, Artem Zholus, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Samenvatting

De integratie van geheugen in agenten is essentieel voor tal van taken binnen het domein van Reinforcement Learning (RL). Met name voor taken die het gebruik van eerdere informatie vereisen, aanpassing aan nieuwe omgevingen en verbeterde steekproefeffectiviteit is geheugen van cruciaal belang. Echter, de term "geheugen" omvat een breed scala aan concepten, wat, samen met het ontbreken van een eenduidige methodologie voor het valideren van het geheugen van een agent, leidt tot onjuiste oordelen over de geheugencapaciteiten van agenten en voorkomt objectieve vergelijking met andere geheugenverbeterde agenten. Dit artikel heeft tot doel het concept van geheugen in RL te stroomlijnen door praktische en nauwkeurige definities te geven van agentgeheugentypen, zoals langetermijn- versus kortetermijngeheugen en declaratief versus procedureel geheugen, geïnspireerd door cognitieve wetenschap. Met behulp van deze definities categoriseren we verschillende klassen van agentgeheugen, stellen we een robuuste experimentele methodologie voor om de geheugencapaciteiten van RL-agenten te evalueren, en standaardiseren we evaluaties. Bovendien tonen we empirisch het belang aan van het naleven van de voorgestelde methodologie bij het evalueren van verschillende soorten agentgeheugen door experimenten uit te voeren met verschillende RL-agenten en wat de schending ervan tot gevolg heeft.

English

The incorporation of memory into agents is essential for numerous tasks within the domain of Reinforcement Learning (RL). In particular, memory is paramount for tasks that require the utilization of past information, adaptation to novel environments, and improved sample efficiency. However, the term ``memory'' encompasses a wide range of concepts, which, coupled with the lack of a unified methodology for validating an agent's memory, leads to erroneous judgments about agents' memory capabilities and prevents objective comparison with other memory-enhanced agents. This paper aims to streamline the concept of memory in RL by providing practical precise definitions of agent memory types, such as long-term versus short-term memory and declarative versus procedural memory, inspired by cognitive science. Using these definitions, we categorize different classes of agent memory, propose a robust experimental methodology for evaluating the memory capabilities of RL agents, and standardize evaluations. Furthermore, we empirically demonstrate the importance of adhering to the proposed methodology when evaluating different types of agent memory by conducting experiments with different RL agents and what its violation leads to.