Aprendendo a Identificar Estados Críticos para Aprendizado por Reforço a partir de Vídeos

Learning to Identify Critical States for Reinforcement Learning from Videos

August 15, 2023

Autores: Haozhe Liu, Mingchen Zhuge, Bing Li, Yuhui Wang, Francesco Faccio, Bernard Ghanem, Jürgen Schmidhuber

cs.AI

Resumo

Trabalhos recentes em aprendizado por reforço profundo (DRL) destacaram que informações algorítmicas sobre boas políticas podem ser extraídas de dados offline que carecem de informações explícitas sobre ações executadas. Por exemplo, vídeos de humanos ou robôs podem transmitir muita informação implícita sobre sequências de ações recompensadoras, mas uma máquina de DRL que deseja se beneficiar ao assistir a esses vídeos deve primeiro aprender por si mesma a identificar e reconhecer estados/ações/recompensas relevantes. Sem depender de anotações de verdade absoluta, nosso novo método, chamado Deep State Identifier, aprende a prever retornos a partir de episódios codificados como vídeos. Em seguida, ele utiliza uma espécie de análise de sensibilidade baseada em máscaras para extrair/identificar estados críticos importantes. Experimentos extensivos demonstram o potencial do nosso método para compreender e melhorar o comportamento do agente. O código-fonte e os conjuntos de dados gerados estão disponíveis em https://github.com/AI-Initiative-KAUST/VideoRLCS.

English

Recent work on deep reinforcement learning (DRL) has pointed out that algorithmic information about good policies can be extracted from offline data which lack explicit information about executed actions. For example, videos of humans or robots may convey a lot of implicit information about rewarding action sequences, but a DRL machine that wants to profit from watching such videos must first learn by itself to identify and recognize relevant states/actions/rewards. Without relying on ground-truth annotations, our new method called Deep State Identifier learns to predict returns from episodes encoded as videos. Then it uses a kind of mask-based sensitivity analysis to extract/identify important critical states. Extensive experiments showcase our method's potential for understanding and improving agent behavior. The source code and the generated datasets are available at https://github.com/AI-Initiative-KAUST/VideoRLCS.