Agentes com Difusão Aumentada: Um Framework para Exploração Eficiente e Aprendizado por Transferência

Diffusion Augmented Agents: A Framework for Efficient Exploration and Transfer Learning

July 30, 2024

Autores: Norman Di Palo, Leonard Hasenclever, Jan Humplik, Arunkumar Byravan

cs.AI

Resumo

Apresentamos os Agentes com Difusão Aprimorada (DAAG), um novo framework que aproveita grandes modelos de linguagem, modelos de visão linguística e modelos de difusão para melhorar a eficiência de amostragem e a aprendizagem por transferência no aprendizado por reforço para agentes incorporados. O DAAG revisa retrospectivamente a experiência passada do agente usando modelos de difusão para transformar vídeos de maneira temporal e geometricamente consistente, alinhando-os com instruções-alvo com uma técnica que chamamos de Ampliação da Experiência Retrospectiva. Um grande modelo de linguagem orquestra esse processo autônomo sem exigir supervisão humana, tornando-o adequado para cenários de aprendizado contínuo. O framework reduz a quantidade de dados rotulados com recompensa necessários para 1) ajustar finamente um modelo de linguagem visual que atua como detector de recompensa e 2) treinar agentes de RL em novas tarefas. Demonstramos os ganhos de eficiência de amostragem do DAAG em ambientes de robótica simulados envolvendo manipulação e navegação. Nossos resultados mostram que o DAAG melhora a aprendizagem de detectores de recompensa, a transferência de experiências passadas e a aquisição de novas tarefas - habilidades-chave para o desenvolvimento de agentes eficientes de aprendizado contínuo. Material suplementar e visualizações estão disponíveis em nosso site https://sites.google.com/view/diffusion-augmented-agents/

English

We introduce Diffusion Augmented Agents (DAAG), a novel framework that leverages large language models, vision language models, and diffusion models to improve sample efficiency and transfer learning in reinforcement learning for embodied agents. DAAG hindsight relabels the agent's past experience by using diffusion models to transform videos in a temporally and geometrically consistent way to align with target instructions with a technique we call Hindsight Experience Augmentation. A large language model orchestrates this autonomous process without requiring human supervision, making it well-suited for lifelong learning scenarios. The framework reduces the amount of reward-labeled data needed to 1) finetune a vision language model that acts as a reward detector, and 2) train RL agents on new tasks. We demonstrate the sample efficiency gains of DAAG in simulated robotics environments involving manipulation and navigation. Our results show that DAAG improves learning of reward detectors, transferring past experience, and acquiring new tasks - key abilities for developing efficient lifelong learning agents. Supplementary material and visualizations are available on our website https://sites.google.com/view/diffusion-augmented-agents/