Понимание и диагностика глубокого обучения с подкреплением

Understanding and Diagnosing Deep Reinforcement Learning

June 23, 2024

Авторы: Ezgi Korkmaz

cs.AI

Аннотация

Глубокие нейронные политики недавно были внедрены в различных областях, от биотехнологии до автоматизированных финансовых систем. Однако использование глубоких нейронных сетей для аппроксимации функции ценности вызывает опасения относительно стабильности границы принятия решений, особенно в отношении чувствительности принятия политических решений к неразличимым, неустойчивым особенностям из-за высоконелинейных и сложных глубоких нейронных многообразий. Эти опасения являются препятствием для понимания рассуждений, сделанных глубокими нейронными политиками, и их фундаментальных ограничений. Поэтому крайне важно разработать техники, направленные на понимание чувствительности в изученных представлениях политик нейронных сетей. Для достижения этой цели мы предлагаем теоретически обоснованный метод, который обеспечивает систематический анализ нестабильных направлений на границе принятия решений глубокой нейронной политики как во времени, так и в пространстве. Через эксперименты в среде обучения Arcade Learning Environment (ALE) мы демонстрируем эффективность нашей техники для выявления коррелированных направлений нестабильности и измерения того, как сдвиги выборки изменяют набор чувствительных направлений в ландшафте нейронной политики. Более того, мы показываем, что передовые техники устойчивого обучения приводят к изучению разобщенных нестабильных направлений, с значительно большими колебаниями со временем, по сравнению со стандартным обучением. Мы считаем, что наши результаты раскрывают фундаментальные свойства процесса принятия решений, сделанных политиками обучения с подкреплением, и могут помочь в создании надежных и устойчивых глубоких нейронных политик.

English

Deep neural policies have recently been installed in a diverse range of settings, from biotechnology to automated financial systems. However, the utilization of deep neural networks to approximate the value function leads to concerns on the decision boundary stability, in particular, with regard to the sensitivity of policy decision making to indiscernible, non-robust features due to highly non-convex and complex deep neural manifolds. These concerns constitute an obstruction to understanding the reasoning made by deep neural policies, and their foundational limitations. Hence, it is crucial to develop techniques that aim to understand the sensitivities in the learnt representations of neural network policies. To achieve this we introduce a theoretically founded method that provides a systematic analysis of the unstable directions in the deep neural policy decision boundary across both time and space. Through experiments in the Arcade Learning Environment (ALE), we demonstrate the effectiveness of our technique for identifying correlated directions of instability, and for measuring how sample shifts remold the set of sensitive directions in the neural policy landscape. Most importantly, we demonstrate that state-of-the-art robust training techniques yield learning of disjoint unstable directions, with dramatically larger oscillations over time, when compared to standard training. We believe our results reveal the fundamental properties of the decision process made by reinforcement learning policies, and can help in constructing reliable and robust deep neural policies.