Het Ontwarren van de Complexiteit van Geheugen in RL-Agenten: een Benadering voor Classificatie en Evaluatie
Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation
December 9, 2024
Auteurs: Egor Cherepanov, Nikita Kachaev, Artem Zholus, Alexey K. Kovalev, Aleksandr I. Panov
cs.AI
Samenvatting
De integratie van geheugen in agenten is essentieel voor tal van taken binnen het domein van Reinforcement Learning (RL). Met name voor taken die het gebruik van eerdere informatie vereisen, aanpassing aan nieuwe omgevingen en verbeterde steekproefeffectiviteit is geheugen van cruciaal belang. Echter, de term "geheugen" omvat een breed scala aan concepten, wat, samen met het ontbreken van een eenduidige methodologie voor het valideren van het geheugen van een agent, leidt tot onjuiste oordelen over de geheugencapaciteiten van agenten en voorkomt objectieve vergelijking met andere geheugenverbeterde agenten. Dit artikel heeft tot doel het concept van geheugen in RL te stroomlijnen door praktische en nauwkeurige definities te geven van agentgeheugentypen, zoals langetermijn- versus kortetermijngeheugen en declaratief versus procedureel geheugen, geïnspireerd door cognitieve wetenschap. Met behulp van deze definities categoriseren we verschillende klassen van agentgeheugen, stellen we een robuuste experimentele methodologie voor om de geheugencapaciteiten van RL-agenten te evalueren, en standaardiseren we evaluaties. Bovendien tonen we empirisch het belang aan van het naleven van de voorgestelde methodologie bij het evalueren van verschillende soorten agentgeheugen door experimenten uit te voeren met verschillende RL-agenten en wat de schending ervan tot gevolg heeft.
English
The incorporation of memory into agents is essential for numerous tasks
within the domain of Reinforcement Learning (RL). In particular, memory is
paramount for tasks that require the utilization of past information,
adaptation to novel environments, and improved sample efficiency. However, the
term ``memory'' encompasses a wide range of concepts, which, coupled with the
lack of a unified methodology for validating an agent's memory, leads to
erroneous judgments about agents' memory capabilities and prevents objective
comparison with other memory-enhanced agents. This paper aims to streamline the
concept of memory in RL by providing practical precise definitions of agent
memory types, such as long-term versus short-term memory and declarative versus
procedural memory, inspired by cognitive science. Using these definitions, we
categorize different classes of agent memory, propose a robust experimental
methodology for evaluating the memory capabilities of RL agents, and
standardize evaluations. Furthermore, we empirically demonstrate the importance
of adhering to the proposed methodology when evaluating different types of
agent memory by conducting experiments with different RL agents and what its
violation leads to.