Naar een Geünificeerde Agent met Fundamentmodellen

Towards A Unified Agent with Foundation Models

July 18, 2023

Auteurs: Norman Di Palo, Arunkumar Byravan, Leonard Hasenclever, Markus Wulfmeier, Nicolas Heess, Martin Riedmiller

cs.AI

Samenvatting

Taalmodellen en Visuele Taalmodellen hebben recentelijk ongekende mogelijkheden getoond op het gebied van het begrijpen van menselijke intenties, redeneren, scènebegrip en planning-achtig gedrag, in tekstvorm, naast vele andere. In dit werk onderzoeken we hoe we dergelijke vaardigheden kunnen inbedden en benutten in Reinforcement Learning (RL)-agenten. We ontwerpen een raamwerk dat taal als het kernredeneermiddel gebruikt, waarbij we verkennen hoe dit een agent in staat stelt om een reeks fundamentele RL-uitdagingen aan te pakken, zoals efficiënte exploratie, het hergebruiken van ervaringsdata, het plannen van vaardigheden en het leren van observaties, die traditioneel afzonderlijke, verticaal ontworpen algoritmen vereisen. We testen onze methode in een gesimuleerde robotmanipulatieomgeving met schaarse beloningen, waarbij een robot een reeks objecten moet stapelen. We demonstreren aanzienlijke prestatieverbeteringen ten opzichte van baseline-methoden in exploratie-efficiëntie en het vermogen om data uit offline datasets te hergebruiken, en illustreren hoe geleerde vaardigheden kunnen worden hergebruikt om nieuwe taken op te lossen of video's van menselijke experts na te bootsen.

English

Language Models and Vision Language Models have recently demonstrated unprecedented capabilities in terms of understanding human intentions, reasoning, scene understanding, and planning-like behaviour, in text form, among many others. In this work, we investigate how to embed and leverage such abilities in Reinforcement Learning (RL) agents. We design a framework that uses language as the core reasoning tool, exploring how this enables an agent to tackle a series of fundamental RL challenges, such as efficient exploration, reusing experience data, scheduling skills, and learning from observations, which traditionally require separate, vertically designed algorithms. We test our method on a sparse-reward simulated robotic manipulation environment, where a robot needs to stack a set of objects. We demonstrate substantial performance improvements over baselines in exploration efficiency and ability to reuse data from offline datasets, and illustrate how to reuse learned skills to solve novel tasks or imitate videos of human experts.