Lernen, kritische Zustände für Reinforcement Learning aus Videos zu identifizieren

Learning to Identify Critical States for Reinforcement Learning from Videos

August 15, 2023

Autoren: Haozhe Liu, Mingchen Zhuge, Bing Li, Yuhui Wang, Francesco Faccio, Bernard Ghanem, Jürgen Schmidhuber

cs.AI

Zusammenfassung

Aktuelle Arbeiten im Bereich des Deep Reinforcement Learning (DRL) haben gezeigt, dass algorithmische Informationen über gute Strategien aus Offline-Daten extrahiert werden können, denen explizite Informationen über ausgeführte Aktionen fehlen. Beispielsweise können Videos von Menschen oder Robotern viele implizite Informationen über lohnende Aktionssequenzen vermitteln, aber eine DRL-Maschine, die von der Betrachtung solcher Videos profitieren möchte, muss zunächst selbst lernen, relevante Zustände/Aktionen/Belohnungen zu identifizieren und zu erkennen. Ohne sich auf Ground-Truth-Annotationen zu verlassen, lernt unsere neue Methode namens Deep State Identifier, Erträge aus Episoden vorherzusagen, die als Videos kodiert sind. Anschließend verwendet sie eine Art maskenbasierte Sensitivitätsanalyse, um wichtige kritische Zustände zu extrahieren bzw. zu identifizieren. Umfangreiche Experimente demonstrieren das Potenzial unserer Methode, das Verhalten von Agenten zu verstehen und zu verbessern. Der Quellcode und die generierten Datensätze sind unter https://github.com/AI-Initiative-KAUST/VideoRLCS verfügbar.

English

Recent work on deep reinforcement learning (DRL) has pointed out that algorithmic information about good policies can be extracted from offline data which lack explicit information about executed actions. For example, videos of humans or robots may convey a lot of implicit information about rewarding action sequences, but a DRL machine that wants to profit from watching such videos must first learn by itself to identify and recognize relevant states/actions/rewards. Without relying on ground-truth annotations, our new method called Deep State Identifier learns to predict returns from episodes encoded as videos. Then it uses a kind of mask-based sensitivity analysis to extract/identify important critical states. Extensive experiments showcase our method's potential for understanding and improving agent behavior. The source code and the generated datasets are available at https://github.com/AI-Initiative-KAUST/VideoRLCS.