Comprensione e Diagnosi dell'Apprendimento per Rinforzo Profondo

Understanding and Diagnosing Deep Reinforcement Learning

June 23, 2024

Autori: Ezgi Korkmaz

cs.AI

Abstract

Le politiche basate su reti neurali profonde sono state recentemente implementate in un'ampia gamma di contesti, dalla biotecnologia ai sistemi finanziari automatizzati. Tuttavia, l'utilizzo di reti neurali profonde per approssimare la funzione di valore solleva preoccupazioni riguardo alla stabilità del confine decisionale, in particolare per quanto riguarda la sensibilità del processo decisionale delle politiche a caratteristiche impercettibili e non robuste, dovute alle altamente non convesse e complesse varietà neurali profonde. Queste preoccupazioni rappresentano un ostacolo alla comprensione del ragionamento effettuato dalle politiche neurali profonde e dei loro limiti fondamentali. Pertanto, è cruciale sviluppare tecniche che mirino a comprendere le sensibilità nelle rappresentazioni apprese dalle politiche delle reti neurali. Per raggiungere questo obiettivo, introduciamo un metodo teoricamente fondato che fornisce un'analisi sistematica delle direzioni instabili nel confine decisionale delle politiche neurali profonde, sia nel tempo che nello spazio. Attraverso esperimenti nell'ambiente Arcade Learning Environment (ALE), dimostriamo l'efficacia della nostra tecnica nell'identificare direzioni correlate di instabilità e nel misurare come gli spostamenti dei campioni rimodellino l'insieme delle direzioni sensibili nel panorama delle politiche neurali. Soprattutto, dimostriamo che le tecniche di addestramento robusto all'avanguardia portano all'apprendimento di direzioni instabili disgiunte, con oscillazioni notevolmente più ampie nel tempo, rispetto all'addestramento standard. Crediamo che i nostri risultati rivelino le proprietà fondamentali del processo decisionale delle politiche di apprendimento per rinforzo e possano contribuire alla costruzione di politiche neurali profonde affidabili e robuste.

English

Deep neural policies have recently been installed in a diverse range of settings, from biotechnology to automated financial systems. However, the utilization of deep neural networks to approximate the value function leads to concerns on the decision boundary stability, in particular, with regard to the sensitivity of policy decision making to indiscernible, non-robust features due to highly non-convex and complex deep neural manifolds. These concerns constitute an obstruction to understanding the reasoning made by deep neural policies, and their foundational limitations. Hence, it is crucial to develop techniques that aim to understand the sensitivities in the learnt representations of neural network policies. To achieve this we introduce a theoretically founded method that provides a systematic analysis of the unstable directions in the deep neural policy decision boundary across both time and space. Through experiments in the Arcade Learning Environment (ALE), we demonstrate the effectiveness of our technique for identifying correlated directions of instability, and for measuring how sample shifts remold the set of sensitive directions in the neural policy landscape. Most importantly, we demonstrate that state-of-the-art robust training techniques yield learning of disjoint unstable directions, with dramatically larger oscillations over time, when compared to standard training. We believe our results reveal the fundamental properties of the decision process made by reinforcement learning policies, and can help in constructing reliable and robust deep neural policies.