Comprensión y Diagnóstico del Aprendizaje por Refuerzo Profundo

Understanding and Diagnosing Deep Reinforcement Learning

June 23, 2024

Autores: Ezgi Korkmaz

cs.AI

Resumen

Las políticas de redes neuronales profundas se han implementado recientemente en una amplia gama de entornos, desde la biotecnología hasta los sistemas financieros automatizados. Sin embargo, la utilización de redes neuronales profundas para aproximar la función de valor genera preocupaciones sobre la estabilidad del límite de decisión, en particular, con respecto a la sensibilidad de la toma de decisiones de políticas a características imperceptibles y no robustas debido a las variedades profundas de redes neuronales altamente no convexas y complejas. Estas preocupaciones constituyen un obstáculo para comprender el razonamiento realizado por las políticas de redes neuronales profundas y sus limitaciones fundamentales. Por lo tanto, es crucial desarrollar técnicas que busquen entender las sensibilidades en las representaciones aprendidas de las políticas de redes neuronales. Para lograr esto, presentamos un método teóricamente fundamentado que proporciona un análisis sistemático de las direcciones inestables en el límite de decisión de las políticas de redes neuronales profundas a través del tiempo y el espacio. A través de experimentos en el Arcade Learning Environment (ALE), demostramos la efectividad de nuestra técnica para identificar direcciones correlacionadas de inestabilidad y para medir cómo los cambios en las muestras remodelan el conjunto de direcciones sensibles en el panorama de políticas neuronales. Más importante aún, demostramos que las técnicas de entrenamiento robusto de última generación producen el aprendizaje de direcciones inestables disjuntas, con oscilaciones dramáticamente mayores a lo largo del tiempo, en comparación con el entrenamiento estándar. Creemos que nuestros resultados revelan las propiedades fundamentales del proceso de decisión realizado por las políticas de aprendizaje por refuerzo y pueden ayudar en la construcción de políticas de redes neuronales profundas confiables y robustas.

English

Deep neural policies have recently been installed in a diverse range of settings, from biotechnology to automated financial systems. However, the utilization of deep neural networks to approximate the value function leads to concerns on the decision boundary stability, in particular, with regard to the sensitivity of policy decision making to indiscernible, non-robust features due to highly non-convex and complex deep neural manifolds. These concerns constitute an obstruction to understanding the reasoning made by deep neural policies, and their foundational limitations. Hence, it is crucial to develop techniques that aim to understand the sensitivities in the learnt representations of neural network policies. To achieve this we introduce a theoretically founded method that provides a systematic analysis of the unstable directions in the deep neural policy decision boundary across both time and space. Through experiments in the Arcade Learning Environment (ALE), we demonstrate the effectiveness of our technique for identifying correlated directions of instability, and for measuring how sample shifts remold the set of sensitive directions in the neural policy landscape. Most importantly, we demonstrate that state-of-the-art robust training techniques yield learning of disjoint unstable directions, with dramatically larger oscillations over time, when compared to standard training. We believe our results reveal the fundamental properties of the decision process made by reinforcement learning policies, and can help in constructing reliable and robust deep neural policies.