Agenti Aumentati con Diffusione: Un Framework per l'Esplorazione Efficiente e il Transfer Learning
Diffusion Augmented Agents: A Framework for Efficient Exploration and Transfer Learning
July 30, 2024
Autori: Norman Di Palo, Leonard Hasenclever, Jan Humplik, Arunkumar Byravan
cs.AI
Abstract
Introduciamo Diffusion Augmented Agents (DAAG), un nuovo framework che sfrutta modelli linguistici di grandi dimensioni, modelli visione-linguaggio e modelli di diffusione per migliorare l'efficienza campionaria e il trasferimento di apprendimento nel reinforcement learning per agenti incarnati. DAAG rilabelizza retrospettivamente l'esperienza passata dell'agente utilizzando modelli di diffusione per trasformare i video in modo temporalmente e geometricamente coerente, allineandoli alle istruzioni target con una tecnica che chiamiamo Hindsight Experience Augmentation. Un modello linguistico di grandi dimensioni orchestra questo processo autonomo senza richiedere supervisione umana, rendendolo adatto a scenari di apprendimento continuo. Il framework riduce la quantità di dati etichettati con ricompensa necessari per 1) affinare un modello visione-linguaggio che funge da rilevatore di ricompensa, e 2) addestrare agenti RL su nuovi compiti. Dimostriamo i guadagni in efficienza campionaria di DAAG in ambienti robotici simulati che coinvolgono manipolazione e navigazione. I nostri risultati mostrano che DAAG migliora l'apprendimento dei rilevatori di ricompensa, il trasferimento dell'esperienza passata e l'acquisizione di nuovi compiti - abilità chiave per sviluppare agenti di apprendimento continuo efficienti. Materiale supplementare e visualizzazioni sono disponibili sul nostro sito web https://sites.google.com/view/diffusion-augmented-agents/.
English
We introduce Diffusion Augmented Agents (DAAG), a novel framework that
leverages large language models, vision language models, and diffusion models
to improve sample efficiency and transfer learning in reinforcement learning
for embodied agents. DAAG hindsight relabels the agent's past experience by
using diffusion models to transform videos in a temporally and geometrically
consistent way to align with target instructions with a technique we call
Hindsight Experience Augmentation. A large language model orchestrates this
autonomous process without requiring human supervision, making it well-suited
for lifelong learning scenarios. The framework reduces the amount of
reward-labeled data needed to 1) finetune a vision language model that acts as
a reward detector, and 2) train RL agents on new tasks. We demonstrate the
sample efficiency gains of DAAG in simulated robotics environments involving
manipulation and navigation. Our results show that DAAG improves learning of
reward detectors, transferring past experience, and acquiring new tasks - key
abilities for developing efficient lifelong learning agents. Supplementary
material and visualizations are available on our website
https://sites.google.com/view/diffusion-augmented-agents/