Раскрытие сложности памяти в агентах обучения с подкреплением: подход к классификации и оценке

Unraveling the Complexity of Memory in RL Agents: an Approach for Classification and Evaluation

December 9, 2024

Авторы: Egor Cherepanov, Nikita Kachaev, Artem Zholus, Alexey K. Kovalev, Aleksandr I. Panov

cs.AI

Аннотация

Внедрение памяти в агентов является неотъемлемым для многих задач в области Обучения с Подкреплением (RL). В частности, память имеет первостепенное значение для задач, требующих использования прошлой информации, адаптации к новым средам и повышения эффективности выборки. Однако термин "память" охватывает широкий спектр концепций, что в сочетании с отсутствием унифицированной методологии для проверки памяти агента приводит к ошибочным суждениям о способностях памяти агентов и мешает объективному сравнению с другими агентами с улучшенной памятью. Настоящая статья нацелена на упрощение концепции памяти в RL путем предоставления практических точных определений типов памяти агента, таких как долгосрочная по сравнению с краткосрочной памятью и декларативная по сравнению с процедурной памятью, вдохновленных когнитивной наукой. Используя эти определения, мы классифицируем различные классы памяти агента, предлагаем надежную экспериментальную методологию для оценки способностей памяти агентов RL и стандартизируем оценки. Более того, мы эмпирически демонстрируем важность соблюдения предложенной методологии при оценке различных типов памяти агента путем проведения экспериментов с различными агентами RL и последствий ее нарушения.

English

The incorporation of memory into agents is essential for numerous tasks within the domain of Reinforcement Learning (RL). In particular, memory is paramount for tasks that require the utilization of past information, adaptation to novel environments, and improved sample efficiency. However, the term ``memory'' encompasses a wide range of concepts, which, coupled with the lack of a unified methodology for validating an agent's memory, leads to erroneous judgments about agents' memory capabilities and prevents objective comparison with other memory-enhanced agents. This paper aims to streamline the concept of memory in RL by providing practical precise definitions of agent memory types, such as long-term versus short-term memory and declarative versus procedural memory, inspired by cognitive science. Using these definitions, we categorize different classes of agent memory, propose a robust experimental methodology for evaluating the memory capabilities of RL agents, and standardize evaluations. Furthermore, we empirically demonstrate the importance of adhering to the proposed methodology when evaluating different types of agent memory by conducting experiments with different RL agents and what its violation leads to.