Rumo a um Agente Unificado com Modelos de Fundação

Towards A Unified Agent with Foundation Models

July 18, 2023

Autores: Norman Di Palo, Arunkumar Byravan, Leonard Hasenclever, Markus Wulfmeier, Nicolas Heess, Martin Riedmiller

cs.AI

Resumo

Modelos de Linguagem e Modelos de Visão e Linguagem demonstraram recentemente capacidades sem precedentes em termos de compreensão das intenções humanas, raciocínio, entendimento de cenas e comportamentos semelhantes a planejamento, em formato de texto, entre muitos outros. Neste trabalho, investigamos como incorporar e aproveitar tais habilidades em agentes de Aprendizado por Reforço (RL). Projetamos um framework que utiliza a linguagem como ferramenta central de raciocínio, explorando como isso permite que um agente enfrente uma série de desafios fundamentais do RL, como exploração eficiente, reutilização de dados de experiência, agendamento de habilidades e aprendizado a partir de observações, que tradicionalmente exigem algoritmos separados e projetados verticalmente. Testamos nosso método em um ambiente simulado de manipulação robótica com recompensas esparsas, onde um robô precisa empilhar um conjunto de objetos. Demonstramos melhorias substanciais de desempenho em relação às baselines em eficiência de exploração e capacidade de reutilizar dados de conjuntos offline, e ilustramos como reutilizar habilidades aprendidas para resolver tarefas novas ou imitar vídeos de especialistas humanos.

English

Language Models and Vision Language Models have recently demonstrated unprecedented capabilities in terms of understanding human intentions, reasoning, scene understanding, and planning-like behaviour, in text form, among many others. In this work, we investigate how to embed and leverage such abilities in Reinforcement Learning (RL) agents. We design a framework that uses language as the core reasoning tool, exploring how this enables an agent to tackle a series of fundamental RL challenges, such as efficient exploration, reusing experience data, scheduling skills, and learning from observations, which traditionally require separate, vertically designed algorithms. We test our method on a sparse-reward simulated robotic manipulation environment, where a robot needs to stack a set of objects. We demonstrate substantial performance improvements over baselines in exploration efficiency and ability to reuse data from offline datasets, and illustrate how to reuse learned skills to solve novel tasks or imitate videos of human experts.