К созданию унифицированного агента на основе фундаментальных моделей
Towards A Unified Agent with Foundation Models
July 18, 2023
Авторы: Norman Di Palo, Arunkumar Byravan, Leonard Hasenclever, Markus Wulfmeier, Nicolas Heess, Martin Riedmiller
cs.AI
Аннотация
Языковые модели и модели, объединяющие язык и зрение, в последнее время продемонстрировали беспрецедентные способности в понимании намерений человека, рассуждениях, понимании сцен и поведении, напоминающем планирование, в текстовой форме, среди многих других задач. В данной работе мы исследуем, как внедрить и использовать такие способности в агентах обучения с подкреплением (Reinforcement Learning, RL). Мы разрабатываем фреймворк, который использует язык в качестве основного инструмента рассуждений, изучая, как это позволяет агенту решать ряд фундаментальных задач RL, таких как эффективное исследование, повторное использование данных опыта, планирование навыков и обучение на основе наблюдений, которые традиционно требуют отдельных, вертикально разработанных алгоритмов. Мы тестируем наш метод в симулированной среде манипуляции робота с редкими наградами, где роботу необходимо складывать набор объектов. Мы демонстрируем значительное улучшение производительности по сравнению с базовыми методами в эффективности исследования и способности повторно использовать данные из оффлайн-наборов, а также показываем, как можно повторно использовать изученные навыки для решения новых задач или имитации видео с экспертами-людьми.
English
Language Models and Vision Language Models have recently demonstrated
unprecedented capabilities in terms of understanding human intentions,
reasoning, scene understanding, and planning-like behaviour, in text form,
among many others. In this work, we investigate how to embed and leverage such
abilities in Reinforcement Learning (RL) agents. We design a framework that
uses language as the core reasoning tool, exploring how this enables an agent
to tackle a series of fundamental RL challenges, such as efficient exploration,
reusing experience data, scheduling skills, and learning from observations,
which traditionally require separate, vertically designed algorithms. We test
our method on a sparse-reward simulated robotic manipulation environment, where
a robot needs to stack a set of objects. We demonstrate substantial performance
improvements over baselines in exploration efficiency and ability to reuse data
from offline datasets, and illustrate how to reuse learned skills to solve
novel tasks or imitate videos of human experts.