Обучение распознаванию критических состояний для обучения с подкреплением на основе видеоданных

Learning to Identify Critical States for Reinforcement Learning from Videos

August 15, 2023

Авторы: Haozhe Liu, Mingchen Zhuge, Bing Li, Yuhui Wang, Francesco Faccio, Bernard Ghanem, Jürgen Schmidhuber

cs.AI

Аннотация

Недавние исследования в области глубокого обучения с подкреплением (DRL) показали, что алгоритмическую информацию о хороших стратегиях можно извлекать из оффлайн-данных, в которых отсутствует явная информация о выполненных действиях. Например, видео с участием людей или роботов могут содержать много неявной информации о последовательностях действий, приводящих к вознаграждению, но DRL-система, желающая извлечь пользу из просмотра таких видео, должна сначала самостоятельно научиться идентифицировать и распознавать соответствующие состояния/действия/вознаграждения. Без использования аннотаций с точными данными наш новый метод, называемый Deep State Identifier, учится предсказывать возвраты на основе эпизодов, закодированных в виде видео. Затем он использует анализ чувствительности на основе масок для извлечения/идентификации важных критических состояний. Многочисленные эксперименты демонстрируют потенциал нашего метода для понимания и улучшения поведения агента. Исходный код и сгенерированные наборы данных доступны по адресу https://github.com/AI-Initiative-KAUST/VideoRLCS.

English

Recent work on deep reinforcement learning (DRL) has pointed out that algorithmic information about good policies can be extracted from offline data which lack explicit information about executed actions. For example, videos of humans or robots may convey a lot of implicit information about rewarding action sequences, but a DRL machine that wants to profit from watching such videos must first learn by itself to identify and recognize relevant states/actions/rewards. Without relying on ground-truth annotations, our new method called Deep State Identifier learns to predict returns from episodes encoded as videos. Then it uses a kind of mask-based sensitivity analysis to extract/identify important critical states. Extensive experiments showcase our method's potential for understanding and improving agent behavior. The source code and the generated datasets are available at https://github.com/AI-Initiative-KAUST/VideoRLCS.