Leren om kritieke toestanden voor reinforcement learning te identificeren vanuit video's

Learning to Identify Critical States for Reinforcement Learning from Videos

August 15, 2023

Auteurs: Haozhe Liu, Mingchen Zhuge, Bing Li, Yuhui Wang, Francesco Faccio, Bernard Ghanem, Jürgen Schmidhuber

cs.AI

Samenvatting

Recent onderzoek naar diepe reinforcement learning (DRL) heeft aangetoond dat algoritmische informatie over goede beleidsstrategieën kan worden geëxtraheerd uit offline data die geen expliciete informatie bevatten over uitgevoerde acties. Zo kunnen video's van mensen of robots veel impliciete informatie bevatten over belonende actiesequenties, maar een DRL-machine die van dergelijke video's wil profiteren, moet eerst zelf leren relevante toestanden/acties/beloningen te identificeren en herkennen. Zonder te vertrouwen op grondwaarheidannotaties leert onze nieuwe methode, genaamd Deep State Identifier, om opbrengsten te voorspellen uit episodes die als video's zijn gecodeerd. Vervolgens gebruikt het een vorm van masker-gebaseerde gevoeligheidsanalyse om belangrijke kritieke toestanden te extraheren/identificeren. Uitgebreide experimenten tonen het potentieel van onze methode aan voor het begrijpen en verbeteren van agentgedrag. De broncode en de gegenereerde datasets zijn beschikbaar op https://github.com/AI-Initiative-KAUST/VideoRLCS.

English

Recent work on deep reinforcement learning (DRL) has pointed out that algorithmic information about good policies can be extracted from offline data which lack explicit information about executed actions. For example, videos of humans or robots may convey a lot of implicit information about rewarding action sequences, but a DRL machine that wants to profit from watching such videos must first learn by itself to identify and recognize relevant states/actions/rewards. Without relying on ground-truth annotations, our new method called Deep State Identifier learns to predict returns from episodes encoded as videos. Then it uses a kind of mask-based sensitivity analysis to extract/identify important critical states. Extensive experiments showcase our method's potential for understanding and improving agent behavior. The source code and the generated datasets are available at https://github.com/AI-Initiative-KAUST/VideoRLCS.