ビデオから強化学習のためのクリティカルな状態を識別する学習

Learning to Identify Critical States for Reinforcement Learning from Videos

August 15, 2023

著者: Haozhe Liu, Mingchen Zhuge, Bing Li, Yuhui Wang, Francesco Faccio, Bernard Ghanem, Jürgen Schmidhuber

cs.AI

要旨

深層強化学習（DRL）に関する最近の研究では、実行された行動に関する明示的な情報が欠如しているオフラインデータから、良好なポリシーに関するアルゴリズム的情報を抽出できることが指摘されています。例えば、人間やロボットの映像は、報酬をもたらす行動シーケンスに関する多くの暗黙的な情報を伝える可能性がありますが、そのような映像から利益を得ようとするDRLマシンは、まず関連する状態/行動/報酬を識別し認識する方法を自ら学習する必要があります。私たちの新しい手法「Deep State Identifier」は、グラウンドトゥルースのアノテーションに依存せず、映像としてエンコードされたエピソードからリターンを予測することを学習します。その後、マスクベースの感度分析を用いて重要なクリティカルな状態を抽出・識別します。大規模な実験により、この手法がエージェントの行動を理解し改善するための潜在能力を有していることが示されています。ソースコードと生成されたデータセットはhttps://github.com/AI-Initiative-KAUST/VideoRLCSで公開されています。

English

Recent work on deep reinforcement learning (DRL) has pointed out that algorithmic information about good policies can be extracted from offline data which lack explicit information about executed actions. For example, videos of humans or robots may convey a lot of implicit information about rewarding action sequences, but a DRL machine that wants to profit from watching such videos must first learn by itself to identify and recognize relevant states/actions/rewards. Without relying on ground-truth annotations, our new method called Deep State Identifier learns to predict returns from episodes encoded as videos. Then it uses a kind of mask-based sensitivity analysis to extract/identify important critical states. Extensive experiments showcase our method's potential for understanding and improving agent behavior. The source code and the generated datasets are available at https://github.com/AI-Initiative-KAUST/VideoRLCS.