Entwirren der Komplexität des Gedächtnisses in RL-Agenten: ein Ansatz für Klassifizierung und Bewertung

Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation

December 9, 2024

Autoren: Egor Cherepanov, Nikita Kachaev, Artem Zholus, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Zusammenfassung

Die Integration von Gedächtnis in Agenten ist für zahlreiche Aufgaben im Bereich des Reinforcement Learning (RL) unerlässlich. Insbesondere ist Gedächtnis entscheidend für Aufgaben, die die Nutzung vergangener Informationen, die Anpassung an neue Umgebungen und eine verbesserte Stichproben-Effizienz erfordern. Allerdings umfasst der Begriff "Gedächtnis" eine Vielzahl von Konzepten, die in Verbindung mit dem Fehlen einer einheitlichen Methodik zur Validierung des Gedächtnisses eines Agenten zu fehlerhaften Beurteilungen über die Gedächtnisfähigkeiten von Agenten führen und einen objektiven Vergleich mit anderen Gedächtnis-verbesserten Agenten verhindern. Dieser Artikel zielt darauf ab, das Konzept des Gedächtnisses im RL zu vereinfachen, indem präzise praktische Definitionen von Agenten-Gedächtnistypen wie Langzeit- versus Kurzzeitgedächtnis und deklaratives versus prozedurales Gedächtnis, inspiriert von der kognitiven Wissenschaft, bereitgestellt werden. Unter Verwendung dieser Definitionen kategorisieren wir verschiedene Klassen von Agenten-Gedächtnis, schlagen eine robuste experimentelle Methodik zur Bewertung der Gedächtnisfähigkeiten von RL-Agenten vor und standardisieren Bewertungen. Darüber hinaus demonstrieren wir empirisch die Bedeutung der Einhaltung der vorgeschlagenen Methodik bei der Bewertung verschiedener Arten von Agenten-Gedächtnis durch die Durchführung von Experimenten mit verschiedenen RL-Agenten und welche Folgen deren Verletzung hat.

English

The incorporation of memory into agents is essential for numerous tasks within the domain of Reinforcement Learning (RL). In particular, memory is paramount for tasks that require the utilization of past information, adaptation to novel environments, and improved sample efficiency. However, the term ``memory'' encompasses a wide range of concepts, which, coupled with the lack of a unified methodology for validating an agent's memory, leads to erroneous judgments about agents' memory capabilities and prevents objective comparison with other memory-enhanced agents. This paper aims to streamline the concept of memory in RL by providing practical precise definitions of agent memory types, such as long-term versus short-term memory and declarative versus procedural memory, inspired by cognitive science. Using these definitions, we categorize different classes of agent memory, propose a robust experimental methodology for evaluating the memory capabilities of RL agents, and standardize evaluations. Furthermore, we empirically demonstrate the importance of adhering to the proposed methodology when evaluating different types of agent memory by conducting experiments with different RL agents and what its violation leads to.