Verso un Agente Unificato con Modelli di Base
Towards A Unified Agent with Foundation Models
July 18, 2023
Autori: Norman Di Palo, Arunkumar Byravan, Leonard Hasenclever, Markus Wulfmeier, Nicolas Heess, Martin Riedmiller
cs.AI
Abstract
I modelli linguistici e i modelli linguistico-visivi hanno recentemente dimostrato capacità senza precedenti in termini di comprensione delle intenzioni umane, ragionamento, comprensione delle scene e comportamenti simili alla pianificazione, in forma testuale, tra molti altri. In questo lavoro, indaghiamo come incorporare e sfruttare tali abilità negli agenti di Apprendimento per Rinforzo (Reinforcement Learning, RL). Progettiamo un framework che utilizza il linguaggio come strumento di ragionamento centrale, esplorando come ciò consenta a un agente di affrontare una serie di sfide fondamentali dell'RL, come l'esplorazione efficiente, il riutilizzo dei dati di esperienza, la pianificazione delle competenze e l'apprendimento dalle osservazioni, che tradizionalmente richiedono algoritmi separati e progettati verticalmente. Testiamo il nostro metodo in un ambiente simulato di manipolazione robotica con ricompense sparse, in cui un robot deve impilare un insieme di oggetti. Dimostriamo miglioramenti sostanziali delle prestazioni rispetto ai baseline in termini di efficienza nell'esplorazione e capacità di riutilizzare i dati da dataset offline, e illustriamo come riutilizzare le competenze apprese per risolvere nuovi compiti o imitare video di esperti umani.
English
Language Models and Vision Language Models have recently demonstrated
unprecedented capabilities in terms of understanding human intentions,
reasoning, scene understanding, and planning-like behaviour, in text form,
among many others. In this work, we investigate how to embed and leverage such
abilities in Reinforcement Learning (RL) agents. We design a framework that
uses language as the core reasoning tool, exploring how this enables an agent
to tackle a series of fundamental RL challenges, such as efficient exploration,
reusing experience data, scheduling skills, and learning from observations,
which traditionally require separate, vertically designed algorithms. We test
our method on a sparse-reward simulated robotic manipulation environment, where
a robot needs to stack a set of objects. We demonstrate substantial performance
improvements over baselines in exploration efficiency and ability to reuse data
from offline datasets, and illustrate how to reuse learned skills to solve
novel tasks or imitate videos of human experts.