Apprendimento per Identificare Stati Critici nel Reinforcement Learning da Video

Learning to Identify Critical States for Reinforcement Learning from Videos

August 15, 2023

Autori: Haozhe Liu, Mingchen Zhuge, Bing Li, Yuhui Wang, Francesco Faccio, Bernard Ghanem, Jürgen Schmidhuber

cs.AI

Abstract

Recenti lavori sull'apprendimento per rinforzo profondo (DRL) hanno evidenziato che è possibile estrarre informazioni algoritmiche su politiche ottimali da dati offline che non contengono informazioni esplicite sulle azioni eseguite. Ad esempio, video di esseri umani o robot possono trasmettere molte informazioni implicite su sequenze di azioni vantaggiose, ma una macchina DRL che desidera trarre vantaggio dalla visione di tali video deve prima imparare autonomamente a identificare e riconoscere stati/azioni/ricompense rilevanti. Senza fare affidamento su annotazioni di verità di base, il nostro nuovo metodo, chiamato Deep State Identifier, impara a prevedere i rendimenti da episodi codificati come video. Successivamente, utilizza una sorta di analisi di sensibilità basata su maschere per estrarre/identificare stati critici importanti. Esperimenti estesi dimostrano il potenziale del nostro metodo per comprendere e migliorare il comportamento degli agenti. Il codice sorgente e i dataset generati sono disponibili all'indirizzo https://github.com/AI-Initiative-KAUST/VideoRLCS.

English

Recent work on deep reinforcement learning (DRL) has pointed out that algorithmic information about good policies can be extracted from offline data which lack explicit information about executed actions. For example, videos of humans or robots may convey a lot of implicit information about rewarding action sequences, but a DRL machine that wants to profit from watching such videos must first learn by itself to identify and recognize relevant states/actions/rewards. Without relying on ground-truth annotations, our new method called Deep State Identifier learns to predict returns from episodes encoded as videos. Then it uses a kind of mask-based sensitivity analysis to extract/identify important critical states. Extensive experiments showcase our method's potential for understanding and improving agent behavior. The source code and the generated datasets are available at https://github.com/AI-Initiative-KAUST/VideoRLCS.