Hacia un Agente Unificado con Modelos Fundacionales
Towards A Unified Agent with Foundation Models
July 18, 2023
Autores: Norman Di Palo, Arunkumar Byravan, Leonard Hasenclever, Markus Wulfmeier, Nicolas Heess, Martin Riedmiller
cs.AI
Resumen
Los Modelos de Lenguaje y los Modelos de Lenguaje Visual han demostrado recientemente capacidades sin precedentes en términos de comprensión de intenciones humanas, razonamiento, comprensión de escenas y comportamientos similares a la planificación, en forma de texto, entre muchos otros. En este trabajo, investigamos cómo integrar y aprovechar dichas capacidades en agentes de Aprendizaje por Refuerzo (RL, por sus siglas en inglés). Diseñamos un marco que utiliza el lenguaje como herramienta central de razonamiento, explorando cómo esto permite a un agente abordar una serie de desafíos fundamentales de RL, como la exploración eficiente, la reutilización de datos de experiencia, la programación de habilidades y el aprendizaje a partir de observaciones, que tradicionalmente requieren algoritmos separados y diseñados verticalmente. Probamos nuestro método en un entorno simulado de manipulación robótica con recompensas escasas, donde un robot necesita apilar un conjunto de objetos. Demostramos mejoras sustanciales en el rendimiento respecto a las líneas base en eficiencia de exploración y capacidad para reutilizar datos de conjuntos de datos fuera de línea, e ilustramos cómo reutilizar habilidades aprendidas para resolver tareas novedosas o imitar videos de expertos humanos.
English
Language Models and Vision Language Models have recently demonstrated
unprecedented capabilities in terms of understanding human intentions,
reasoning, scene understanding, and planning-like behaviour, in text form,
among many others. In this work, we investigate how to embed and leverage such
abilities in Reinforcement Learning (RL) agents. We design a framework that
uses language as the core reasoning tool, exploring how this enables an agent
to tackle a series of fundamental RL challenges, such as efficient exploration,
reusing experience data, scheduling skills, and learning from observations,
which traditionally require separate, vertically designed algorithms. We test
our method on a sparse-reward simulated robotic manipulation environment, where
a robot needs to stack a set of objects. We demonstrate substantial performance
improvements over baselines in exploration efficiency and ability to reuse data
from offline datasets, and illustrate how to reuse learned skills to solve
novel tasks or imitate videos of human experts.